We wczesnym średniowieczu, w miejscu zamku istniał gród, zbudowany na sztucznie usypanej wyspie, umocnionej drewniano-ziemnymi konstrukcjami. W XIII w. była tu siedziba rodowa Odrowążów. Zamek wybudowany został przez Stanisława Szydłowieckiego w połowie XV w. W latach 1515 -1526, Mikołaj Szydłowiecki przebudował gotycki zamek na renesansową rezydencję. W 1547 r. zamek przeszedł w posiadanie Radziwiłłów poprzez małżeństwo Elżbiety Szydłowieckiej z Mikołajem "Czarnym" Radziwiłłem. Ostatnie przebudowy zamku dokonał Albrecht Władysław Radziwiłł w latach 1619-1629. W 1802 r. zamek kupiła księżna Anna Sapieżyna, która odsprzedała go w 1828 r. skarbowi Królestwa Polskiego. Do końca XIX w. zamek przechodził w ręce kolejnych, prywatnych właścicieli i popadał w ruinę. W latach 60, XX w. przeprowadzono remont budowli. W zamku mieści się obecnie Szydłowieckie Centrum Kultury, Biblioteka Publiczna oraz Muzeum Ludowych Instrumentów Muzycznych.