Zámecký areál tvoří zřícenina středověkého hradu a renesanční zámek se dvěma nádvořími a kamenným mostem vedoucím k předzámčí, kde se nachází budova bývalého hejtmanství. Celý areál byl zakončen monumentálním zámeckým kostelem. S přestavbou hradu na reprezentativní zámek začal Hynek starší krátce po roce 1582, kdy do prostoru předhradí přistavěl tzv. střední zámek s velkým sálem. Tato přístavba s geometrickou sgrafitovou fasádou má trojkřídlou dispozici a její arkádové nádvoří s toskánskými sloupy je na jižní straně ukončeno původní hradbou. Stavitel nejspíše pocházel z území dnešního švýcarského kantonu Ticino nebo z okolí Lugánských jezer v dnešní Itálii. Od roku 1594 spravoval zámek Hynkův syn Jan starší (†1608; Stibor 1998, s. 39), který spolu se svým synem Hynkem mladším ve zvelebování zámeckého komplexu pokračoval – začali budovat současný tzv. dolní zámek, tj. vstupní věž a východní křídlo (Menclová 1957, s. 8). Na jeho výstavbě se podíleli stavitelé inspirovaní slezským manýrismem. S okruhem těchto tvůrců je spojováno jméno stavitele Antonia Thomy (Nováková 1975, s. 60­–63; Spurný 1983, s. 35, 202, 263–264; Polách 1994, s. 125; Polách 1995, s. 100–103). V  rozšiřování zámku pak pokračoval nový majitel Hanuš Petřvaldský z Petřvaldu (†1619). Roku 1621 byl pak Kolštejn Petřvaldským konfiskován a věnován Lichtenštejnům (Březina 1932, s. 175).

Štukatury vznikly pravděpodobně ve dvou etapách mezi lety 1582 a 1614, kdy panství vlastnili Bruntálští z Vrbna, a nachází se hned v několika prostorách středního a dolního zámku a také v průjezdu. Ve čtyřech prostorách se uplatňují komunikující rámce či rytmizované kazety, tři místnosti zdobí jemné lemy a vegetabilní prvky a jedna místnost se svou krajkovitou zdobností ostatním vymyká. Mistr geometrizující skupiny vyzdobil mimo jiné velký sál v přízemí severního křídla středního zámku. Tento sál je zaklenut valenou klenbou členěnou třemi čtvercovými poli s rozetami, jež od sebe dělí podélné oktogonální kazety tvořené čtyřmi hexagony, dvěma menšími obdélníky a vepsaným oválem. Oproti klasickým, potažmo i renesančním rozetám jsou ty kolštejnské značně naddimenzovány. Zatímco krajní rozety jsou tvořeny třemi řadami okvětních lístků, tu prostřední navíc zdůrazňuje hvězdice, jež od sebe jednotlivé lístky odděluje. Toto schéma je takřka totožné se štukovou dekorací klenby kostela sv. Jana Křtitele ve Velkých Losinách (1600–1603). V obou prostorách se vyskytují také stejné drobné konzolky, jež podpírají hlavní rám podél klenební patky. Štuková dekorace se podobá kazetám na zámku v Rosicích, kde se uplatňuje rovněž stejný typ rozet, tak jako i na zámku v Lipníku nad Bečvou (před 1609), který také patřil Bruntálským z Vrbna, a v kostele sv. Šimona a Judy ve Strážku. Takto komponované kazety bychom našli v Serliově čtvrté a sedmé knize o architektuře (Řezníčková 2020, s. 53).