Palác je významná barokní stavba. V popředí stojí nájemní dům podle návrhu Maxmiliána Hegera z roku 1836. Během působení milovníka hudby a mecenáše hraběte Jana Josefa Pachty z Rájova se palác stal místem koncertů a setkávání hudebních osobností. V paláci pobýval Josef Mysliveček, Wolfgang Amadeus Mozart s manželkou Konstancí, později také Ludwig van Beethoven či Richard Wagner.