Zámek ve Vimperku vznikl přestavbou hradu z druhé poloviny 13. století na reprezentativní sídlo Rožmberků a zejména Novohradských z Kolovrat, kteří zámku vtiskli jeho současnou pozdně renesanční podobu. Stavební úpravy inicioval již Vilém z Rožmberka, který hrad získal roku 1554 a na něj pak v 60. letech navázal jeho bratr Petr Vok, který však kvůli zděděným dluhům byl nucen roku 1601 vimperské panství odprodat svému příteli Volfovi Novohradskému z Kolovrat (†1609) a jeho manželce Juditě Novohradské ze Šternberka (†1617), kteří pokračovali v budování rezidence, především tzv. Horního hradu s malou kaplí Čtyř evangelistů. Tzv. Dolní zámek (na dnešním prvním nádvoří) pak vznikl zřejmě až za působení jejich syna Jáchyma ve 20. letech 17. století, kdy bylo nutné také rezidenci opravit po poškození během stavovského povstání. Roku 1630 musel Jáchym Novohradský prodat panství pánům z Eggenbergu.

Zámek je nepravidelného půdorysu se třemi vnitřními nádvořími ve svahu. Nejvýše je kolem třetího nádvoří situována hradní věž s obytným jádrem panského sídla, tedy Horním zámkem. Jeho komplex budov měl původně oválný tvar, který pak rozdělilo příčné křídlo vystavěné za Jáchyma Novohradského kolem roku 1624, jak dokládá nápis na vstupním průčelí Horního zámku Ano domini MDCXXIV spolu s iniciálami stavebníka I N Z K a štukovým erbem Kolovratů. Fasáda tohoto příčného křídla je členěna pěti arkádami, z nichž se jedna otevírá do průjezdu, završenými klenáky s plastickými antropomorfickými prvky. Horní patra jsou od přízemí dělena fabionovou římsou a jejich obdélná okna se rytmicky střídají s pilastry vysokého řádu. Stavba je zakončena štukovým kladím, na němž se podle principu dórského řádu střídají triglyfy a metopy, v nichž jsou umístěné válečné trofeje jako přilby, kyrysy, části brnění, jezdecké boty s ostruhami, pistole a meče. Tyto reliéfy snad mohly odkazovat na rytířské ctnosti a válečné zkušenosti objednavatele (Hajná 2017, s. 463–485).