Palác stojí na parcele dvou středověkých domů, renesančně (konec 16. století) a barokně upravných. Do dnešní podoby jej pro Jana Josefa z Valdštejna přestavěl v letech 1714-16 František Maxmilián Kaňka. Klasicistní úpravy se protáhly až do roku 1823. Později (1856) byly upraveny jen pravá boční fasáda a interiéry. Dnes je to jedna z budov Pražské konzervatoře, kde se konají absolventské koncerty jejích posluchačů.