Zámecký areál tvoří zřícenina středověkého hradu a renesanční zámek se dvěma nádvořími a kamenným mostem vedoucím k předzámčí, kde se nachází budova bývalého hejtmanství. Celý areál byl zakončen monumentálním zámeckým kostelem. S přestavbou hradu na reprezentativní zámek začal Hynek starší krátce po roce 1582, kdy do prostoru předhradí přistavěl tzv. střední zámek s velkým sálem. Tato přístavba s geometrickou sgrafitovou fasádou má trojkřídlou dispozici a její arkádové nádvoří s toskánskými sloupy je na jižní straně ukončeno původní hradbou. Stavitel nejspíše pocházel z území dnešního švýcarského kantonu Ticino nebo z okolí Lugánských jezer v dnešní Itálii. Od roku 1594 spravoval zámek Hynkův syn Jan starší (†1608; Stibor 1998, s. 39), který spolu se svým synem Hynkem mladším ve zvelebování zámeckého komplexu pokračoval – začali budovat současný tzv. dolní zámek, tj. vstupní věž a východní křídlo (Menclová 1957, s. 8). Na jeho výstavbě se podíleli stavitelé inspirovaní slezským manýrismem. S okruhem těchto tvůrců je spojováno jméno stavitele Antonia Thomy (Nováková 1975, s. 60­–63; Spurný 1983, s. 35, 202, 263–264; Polách 1994, s. 125; Polách 1995, s. 100–103). V  rozšiřování zámku pak pokračoval nový majitel Hanuš Petřvaldský z Petřvaldu (†1619). Roku 1621 byl pak Kolštejn Petřvaldským konfiskován a věnován Lichtenštejnům (Březina 1932, s. 175).

Štukatury vznikly pravděpodobně ve dvou etapách mezi lety 1582 a 1614, kdy panství vlastnili Bruntálští z Vrbna, a nachází se hned v několika prostorách středního a dolního zámku a také v průjezdu. Ve čtyřech prostorách se uplatňují komunikující rámce či rytmizované kazety, tři místnosti zdobí jemné lemy a vegetabilní prvky a jedna místnost se svou krajkovitou zdobností ostatním vymyká. Mistr geometrizující skupiny vyzdobil mimo jiné místnost v jižním křídle dolního zámku. Na její valené klenbě se uplatňuje geometrický systém řazení čtverců a řeckých křížů, přičemž řecké kříže jsou vyplněny kosočtverci na lištách. Překřížením těchto dvou sítí zřetězených čtverců a kosočtverců tak vznikají oktogonální kazety. Štukatury analogické k výzdobě sálu můžeme sledovat v kostele sv. Šimona a Judy ve Strážku.