Schwanzův dům (známý jako Dům pánů z Lipé) na dnešním náměstí Svobody vznikl na místě starší gotické stavby, kterou roku 1587 odkoupil Kryštof Schwanz z Retzu, nejzámožnější brněnský měšťan té doby, jenž nechal původní budovu zbořit a pověřil Antonia Gabriho, aby na jejím místě vystavěl nový městský palác (Zapletal 1939, s. 15). Plán práce měl hotov už v roce 1589, ale kvůli pracovní vytíženosti Jiřího Gialdiho, autora sochařské výzdoby paláce, byla stavba dokončena až roku 1596 (Zapletal 1939, s. 21, 26). Schwanz zde do roku 1603 provozoval velkoobchod s vínem, kramářství a směnárnu. Dům pak vystřídal řadu majitelů, mezi nimi byl např. i Hanuš Petřvaldský z Petřvaldu. Palác prošel mnohými úpravami, z nichž snad největší zásah narušující autenticitu památky inicioval Brnosvaz, když v letech 1931–1936 nechal provést celkovou rekonstrukci. Původně třípatrový palác na půdorysu úzkého obdélníku byl orientován směrem do náměstí a uvnitř měl dvoukřídlý ochoz obklopující přízemí a první patro. V těchto dvou podlažích se také nachází dohromady dvanáct prostor s geometrickými štukaturami (šest v přízemí a šest v prvním patře), převážně jde o vpadlé výplně s motivy karetních symbolů, jako jsou koule, srdce, kříže, piky a káry.

V severní části patra východního traktu se nachází místnost, jejíž klenbu zdobí pětice vpadlých kruhových medailonů se zvýrazněnými středy. Kombinací jednoduchých geometrických tvarů, jako jsou čtverce, kruhy či srdce, lze tyto klenební vzorce přirovnat k výzdobě zámeckých sálů v Dolních Kounicích, Moravci a zejména v Bučovicích. Ve východním křídle bučovického zámku se nachází štukatury analogické jak svými obrazci, tak i provedením. Přímou souvislost mezi oběma objekty naznačují také rodinné vazby stavitelů – starším bratrem Antonia Gabriho byl Pietro Gabri, mistr podílející se na výstavbě bučovického zámku. Dílem Antonia byla navíc i jezuitská kolej v Brně, kde se původně nacházely víceméně stejné štukatury jako ve Schwanzově domě [srov. Hana Jordánková (ed.), Jezuité a Brno: sociální a kulturní interakce koleje a města (1578–1773), Brno 2013, s. 269–273]. O něco starší variaci na pikové motivy, z doby kolem roku 1570, pak najdeme také v horní síni vyškovské radnice.