Zámeček (usedlost Kajetánka) vznikal na místě původního raně barokního letohrádku z doby po polovině 17. století, ze kterého se pravděpodobně zachovaly přízemní klenby. Přestavba, který určila dnešní vzhled, proběhla před rokem 1721. Východní křídlo bylo přistaveno před polovinou 18. století. Pozdější úpravy objekt spíše degradovaly.