Schwanzův dům (známý jako Dům pánů z Lipé) na dnešním náměstí Svobody vznikl na místě starší gotické stavby, kterou roku 1587 odkoupil Kryštof Schwanz z Retzu, nejzámožnější brněnský měšťan té doby, jenž nechal původní budovu zbořit a na jejím místě pověřil Antonia Gabriho výstavbou nového městského paláce (Zapletal 1939, s. 15). Plán práce měl hotov už v roce 1589, ale kvůli pracovní vytíženosti Jiřího Gialdiho, autora sochařské výzdoby paláce, byla stavba dokončena až roku 1596 (Zapletal 1939, s. 21, 26). Schwanz zde do roku 1603 provozoval velkoobchod s vínem, kramářství a směnárnu. Dům pak vystřídal řadu majitelů, mezi nimi byl např. i Hanuš Petřvaldský z Petřvaldu. Palác prošel mnohými úpravami, z nichž snad největší zásah narušující autenticitu památky zapříčinil Brnosvaz, když v letech 1931–1936 nechal provést celkovou rekonstrukci. Původně třípatrový palác na půdorysu úzkého obdélníku byl orientován směrem do náměstí a uvnitř měl dvoukřídlý ochoz obklopující přízemí a první patro. V těchto dvou podlažích se také nachází dohromady dvanáct prostor s geometrickými štukaturami (šest v přízemí a šest v prvním patře) – jde převážně o vpadlé výplně s motivy karetních symbolů, jako jsou koule, srdce, kříže, piky a káry.

V jižním křídle je za sebou řazeno několik původně průchozích místnosti. První z nich má neckovou klenbu, které dominuje vpadlý čtyřlist, z něhož vychází kolmé lišty propojující oválná zrcadla po obvodu. Kombinací jednoduchých geometrických tvarů, jako jsou čtverce, kruhy či srdce, lze tyto klenební vzorce přirovnat k výzdobě zámeckých sálů v Dolních Kounicích, Moravci a zejména v Bučovicích. Ve východním křídle bučovického zámku se nachází štukatury analogické jak svými obrazci, tak i provedením. Přímou souvislost mezi oběma objekty naznačují také rodinné vazby stavitelů – starším bratrem Antonia Gabriho byl Pietro Gabri, mistr podílející se na výstavbě bučovického zámku. Dílem Antonia byla navíc i jezuitská kolej v Brně, kde se původně nacházely víceméně stejné štukatury jako ve Schwanzově domě [srov. Hana Jordánková (ed.), Jezuité a Brno: sociální a kulturní interakce koleje a města (1578–1773), Brno 2013, s. 269–273]. O něco starší variaci na pikové motivy, z doby kolem roku 1570, pak najdeme také v horní síni vyškovské radnice.