Dům vznikal na místě vinného lisu, později dvou renesančních domů. V letech 1712-20 tyto stavby rozšířil Kryštof Dientzenhofer - patrně podle projektu Františka Maxmiliána Kaňky - o proslulé zahradní partie včetně saly terreny, voliéry a glorietu. Výzdoba od Václava Vavřince Reinera a Matyáše Bernarda Brauna. Uliční fasády upraveny v 19. století.