Vyvýšený priestor nad sútokom Slatiny a Hrona bol stredobodom pozornosti ranofeudálnych vládcov Uhorska. Vzniklo tu jedno z najstarších a územne najväčších politických celkov zvolenskej župy. Centum bolo pôvodne situované na strmom brale tzv. Pustého hradu, ktorý postavili v 12.storočí. Jeho neprístupnosť však mala za následok, že sa kráľ Ľudovít I. rozhodol postaviť v rokoch 1360 – 1382 hrad nový a to podľa vzoru talianskych mestských kastelov. Gotický poľovnícky zámok bol postavený na starších základoch. Hradný palác vybudovali na pôdoryse pravidelného obdĺžnika so štyrmi krídlami okolo ústredného dvora. Reprezentačné miestnosti boli v severnom krídle s výhľadom na zvolenské námestie. Najvýznamnejším architektonickým prvkom hradu je kaplnka, ktorá pôvodne bola dvojpodlažná, so samostatnými vstupmi z nádvoria. Na prelome 15. a 16. storočia, v období gotiky sa pristúpilo k obnove zámku, ktorú financoval jej nový majiteľ J.Thurzo. Neskôr, vzhľadom na hroziace nebezpečenstvo tureckých nájazdov, ktoré najviac ohrozovali bohaté banské mestá, bolo pristavené ďalšie poschodie, k zámku pristavili vonkajšie opevnenie spolu so štyrmi okrúhlymi baštami, so strieľňami a nárožnými arkierovými vežami. V priebehu 17. a 18. storočia, keď zámok patril do majetku Eszterházyovcov bol viac ráz prestavaný. Po prenesení župného sídla zo Zvolena do Banskej Bystrice, stratil hrad svoj niekdajší význam. Pre jeho historické, umelecké a architektonické hodnoty bol v minulosti vyhlásený za národnú kultúrnu pamiatku. Dnes sa v ňom nachádza Slovenská národná galéria, ktorá tu vystavuje svoje expozície. V zámockej kaplnke na východnej strane nádvoria sa konajú bohoslužby a rytierska sieň slúži ako sobášna sieň.