V místech, kde se nyní nachází zámek, byla v roce 1319 tvrz, která patřila Půtovi z Pardubcic. Jeho synové vyměnili pardubickou tvrz za hrad Visemburk. Tak se do Pardubic dostává Arnošt ze Staré a z Hostýně. Jeho syn Arnošt byl prvním pražským arcibiskupem a blízkým známým císaře Karla IV, který Pardubice navštívil roku 1363. Arnošt z Pardubic nechal tvrz přestavět na hrad s příkopy. Po jeho smrti byl majitelem zámku jeho bratr Vilém. Majiteli pardubického panství byli dále i Viktorin Boček z Kunštátu, Diviš Boček z Miletínka, král Jiří z Poděbrad a nakonec Jindřich Minsterberský, který prodává roku 1491 zámek panu Vilémovi z Pernštejna za 3 250 kop grošů českých.
Roku 1497 započala rozsáhlá rekonstrukce zámku. Úprava a zvelebování zámku pokračovalo i za Votěcha i Jana z Pernštejna. Vzniklo tak důstojné renesanční sídlo rodu Pernštejnů. Finanční situace pernštejnského rodu se natolik zhoršovala, že Jaroslav z Pernštejna byl nucen zámek a celé Pardubické panství roku 1560 odprodat královské komoře.

Za císaře Maxmiliána a taktéž i za Rudolfa II se vzhled zámku i nadále zlepšoval, avšak třicetiletou válkou zámek příliš utrpěl. V té době zde bylo započato s výstavbou pivovaru a při jednom z válečných útokú byl zámek zasažen. Při tomto útoku shořely všechny sýpky. Úroda se tedy začala skladovat v zámeckých pokojích, což mu také zrovna nepřispívalo. V 18. století byl zámek opraven v barokním slohu. Byly odstraněny některé štíty a rozdělěny místnosti. V druhé polovině 18. století zde byly pokoje pensionovaných důstojníků. Ve velkých sálech byly sníženy stropy a příčkami byly rozděleny na menší místnosti a upraveny k bydlení rodin. Historická cena zámku byla zcela zanedbávána, zámek chátral. Na konci 18. století zde byl textilní sklad a koncem století devatenáctého naopak obuvnické dílny.

Až od roku 1920, kdy přešlo vlastnictví zámku do Muzejního spolku se začala postupně navracet zámku původní podoba. V současné době probíhá již od 70. let rozsáhlá a vleklá rekonstrukce, která nabrala na obrátkách až po roce 1990, kdy se o zámek stará Východočeské muzeum, takže v současné době je již velká část zámku přístupná veřejnosti a zbytek je před dokončením.

Potvrzení: razítko, vstupenka