Schwanzův dům (známý jako Dům pánů z Lipé) na dnešním náměstí Svobody vznikl na místě starší gotické stavby, kterou roku 1587 odkoupil Kryštof Schwanz z Retzu, nejzámožnější brněnský měšťan té doby, jenž nechal původní budovu zbořit a pověřil Antonia Gabriho, aby na jejím místě vystavěl nový městský palác (Zapletal 1939, s. 15). Plán práce měl hotov už v roce 1589, ale kvůli pracovní vytíženosti Jiřího Gialdiho, autora sochařské výzdoby paláce, byla stavba dokončena až roku 1596 (Zapletal 1939, s. 21, 26). Schwanz zde do roku 1603 provozoval velkoobchod s vínem, kramářství a směnárnu. Dům pak vystřídal řadu majitelů, mezi nimi byl např. i Hanuš Petřvaldský z Petřvaldu. Palác prošel mnohými úpravami, z nichž snad největší zásah narušující autenticitu památky inicioval Brnosvaz, když v letech 1931–1936 nechal provést celkovou rekonstrukci. Původně třípatrový palác na půdorysu úzkého obdélníku byl orientován směrem do náměstí a uvnitř měl dvoukřídlý ochoz obklopující přízemí a první patro. V těchto dvou podlažích se také nachází dohromady dvanáct prostor s geometrickými štukaturami (šest v přízemí a šest v prvním patře), převážně jde o vpadlé výplně s motivy karetních symbolů, jako jsou koule, srdce, kříže, piky a káry.

Místnost v jižní části uličního křídla zdobí ústřední obdélné zrcadlo a kárové motivy ve výsečích (dnes vymalované modře). Kombinací jednoduchých geometrických tvarů, jako jsou čtverce, kruhy či srdce, lze tyto klenební vzorce přirovnat k výzdobě zámeckých sálů v Dolních Kounicích, Moravci a zejména v Bučovicích. Ve východním křídle bučovického zámku se nachází štukatury analogické jak svými obrazci, tak i provedením. Přímou souvislost mezi oběma objekty naznačují také rodinné vazby stavitelů – starším bratrem Antonia Gabriho byl Pietro Gabri, mistr podílející se na výstavbě bučovického zámku. Dílem Antonia byla navíc i jezuitská kolej v Brně, kde se původně nacházely víceméně stejné štukatury jako ve Schwanzově domě [srov. Hana Jordánková (ed.), Jezuité a Brno: sociální a kulturní interakce koleje a města (1578–1773), Brno 2013, s. 269–273]. O něco starší variaci na pikové motivy, z doby kolem roku 1570, pak najdeme také v horní síni vyškovské radnice.