Schwanzův dům (známý jako Dům pánů z Lipé) na dnešním náměstí Svobody vznikl na místě starší gotické stavby, kterou roku 1587 odkoupil Kryštof Schwanz z Retzu, nejzámožnější brněnský měšťan té doby, jenž nechal původní budovu zbořit a pověřil Antonia Gabriho, aby na jejím místě výstavěl. nový městský palác (Zapletal 1939, s. 15). Plán práce měl hotov už v roce 1589, ale kvůli pracovní vytíženosti Jiřího Gialdiho, autora sochařské výzdoby paláce, byla stavba dokončena až roku 1596 (Zapletal 1939, s. 21, 26). Schwanz zde do roku 1603 provozoval velkoobchod s vínem, kramářství a směnárnu. Dům pak vystřídal řadu majitelů, mezi nimi např. i Hanuše Petřvaldského z Petřvaldu. Palác prošel mnohými úpravami, z nichž snad největší zásah narušující autenticitu památky inicioval Brnosvaz, když v letech 1931–1936 nechal provést celkovou rekonstrukci. Původně třípatrový palác na půdorysu úzkého obdélníku byl orientován směrem do náměstí a uvnitř měl dvoukřídlý ochoz obklopující přízemí a první patro. V těchto dvou podlažích se také nachází dohromady dvanáct prostor s geometrickými štukaturami (šest v přízemí a šest v prvním patře), jde převážně o vpadlé výplně s motivy karetních symbolů, jako jsou koule, srdce, kříže, piky a káry.

Ze vstupní chodby v patře je kromě tří místností s výhledem do ulice přístupná rovněž obdélná místnost zaklenutá neckovou klenbou s plastickým rámováním vystupujícím z omítky. Centrální zrcadlo zde obklopují rámy flankující každou plochu klenby, které ve svém středu vytvářejí křížové motivy. Kombinací jednoduchých geometrických tvarů, jako jsou čtverce, kruhy či srdce, lze tyto klenební vzorce přirovnat k výzdobě zámeckých sálů v Dolních Kounicích, Moravci a zejm. v Bučovicích. Ve východním křídle bučovického zámku se nachází štukatury analogické jak svými obrazci, tak i provedením. Přímou souvislost mezi oběma objekty naznačují také rodinné vazby stavitelů – starším bratrem Antonia Gabriho byl Pietro Gabri, mistr podílející se na výstavbě bučovického zámku. Dílem Antonia byla navíc i jezuitská kolej v Brně, kde se původně nacházely víceméně stejné štukatury jako ve Schwanzově domě (srov. Hana Jordánková (ed.), Jezuité a Brno: sociální a kulturní interakce koleje a města (1578–1773), Brno 2013, s. 269–273). O něco starší variaci na pikové motivy, z doby kolem roku 1570, pak najdeme také v horní síni vyškovské radnice.