zydłowiec w średniowieczu był rodową siedzibą Odrowążów, którzy w XV wieku przyjęli nazwisko Szydłowieccy. W XIV wieku wznieśli oni murowany dwór na niewielkim, sztucznie podwyższonym wyniesieniu wśród mokradeł rzeki Korzeniówki, w zachodniej części miasta. Gród w tym miejscu, chroniący przeprawy przez rzekę, istniał już na przełomie XII i XIII wieku o czym świadczą badania archeologiczne przeprowadzone w latach 60-tych XX wieku. Pierwsza wzmianka o murowanym dworze
Zamek w Szydłowcu na fotografii Henryka Poddębskiego z 1932 roku
pochodzi z 1427 roku, kiedy był własnością Jakuba i Sławka Odrowążów. Z tej pierwszej budowli odkryto ślady murów na zewnątrz północnego skrzydła.
Pod koniec XIV wieku nastąpiła przebudowa warowni, której zakres jest słabo rozpoznany. Mury z tego okresu, wykonane z nieregularnego kamienia, odkryto pod dziedzińcem i po stronie północnej wyspy. Na początku XV wieku, w wyniku podziałów rodzinnych, zamek wraz z osadą przypadł bocznej linii Odrowążów chlewskich, którzy odtąd tytułowali się dziedzicami na Szydłowcu i przyjęli nazwisko Szydłowieccy. Kariera polityczna Stanisława Szydłowieckiego, który osiągnął godność marszałka dworu Kazimierza Jagiellończyka oraz jego trzech synów, przyczyniła się do rozkwitu miasta i licznych królewskich przywilejów.
W drugiej połowie XV wieku dwór został rozbudowany. W miejscu starszego budynku powstała wieża mieszkalna o czterech kondygnacjach, a na zachodnim krańcu wysepki wzniesiono czworoboczną wieżę bramną. Prawdopodobnie oba budynki znalazły się w ciągu murów obwodowych.
W
Wnętrza zamkowe na widokówce z 1912 roku
latach 1515-1526 podskarbi wielki koronny Mikołaj Szydłowiecki przebudował swoją siedzibę na okazały renesansowy zamek. Na miejscu wcześniejszych zabudowań wytyczono nowy dziedziniec, podniesiony o jeden metr i wyłożony brukiem. Założenie było trójskrzydłowe. Skrzydło północne wchłonęło pozostałości wcześniejszej wieży mieszkalnej, a skrzydło zachodnie połączyło czworoboczną wieżę ze skrzydłem północnym. Reprezentacyjny charakter miało skrzydło wschodnie o trzech kondygnacjach. W narożniku południowo-zachodnim wzniesiono kwadratową wieżę bramną z kaplicą, zaopatrzoną w otwory strzelnicze i skarpy narożne. Obwód zamku od strony południowej i zachodniej zamknął mur kurtynowy. Rozbudowa przekształciła późnogotycki zamek w nowożytną, regularnie rozplanowaną rezydencję o cechach reprezentacyjnych, o czym świadczyły zdobione elewacje budynków oraz bogato wyposażone wnętrza.
W 1550 roku właścicielem części dóbr szydłowieckich oraz zamku został na krótko
Widok zamku na zdjęciu lotniczym, fot. ZeroJeden, VI 2019
Mikołaj Myszkowski, a od końca tego roku przez prawie trzy stulecia zamek należał do Radziwiłłów. W 1547 r. dobra szydłowieckie przeszły w posiadanie Radziwiłłów poprzez małżeństwo Elżbiety Szydłowieckiej z Mikołajem ""Czarnym"" Radziwiłłem. Od tego momentu Szydłowiec przestał być główną siedzibą właścicieli. Dobrami szydłowieckimi, zwanymi od 1553 hrabstwem, zarządzali mianowani przez Radziwiłłów starostowie i dzierżawcy.
W początkach XVII wieku przeprowadzono prace nad wystrojem wnętrz. Podczas prac konserwatorskich na filarze wspierającym sklepienie wielkiej kuchni odkryto sygnatury kamieniarzy Jana Poniatowskiego i Sebastiana Młoskiego oraz datę 1602.
Albrecht Radziwiłł w latach 1619-1629 rozbudował rezydencję. Powstało wówczas ostatnie zachodnie skrzydło, dostawione do muru kurtynowego. Wraz z dobudowaną częścią skrzydła północnego stworzyło ono dzisiejszą bryłę zamku. Przebudowie uległy pomieszczenia w budynku północnym oraz kaplica zamkowa. Do skrzydła wschodniego dobudowano loggię
fot. ZeroJeden, VI 2006
widokową, do której prowadzą zewnętrzne monumentalne schody. Na narożach skrzydła wschodniego dostawiono dobudówki z niewielkimi tarasami. W trakcie tej rozbudowy podwyższono wieżę bramną i umieszczono w niej kaplicę. Zamek otrzymał bogate wyposażenie, kasetonowe stropy, polichromie oraz fryzy.
Po śmierci Mikołaja Radziwiłła w 1802 roku, zamek i miasto przeszły w ręce Anny z Zamojskich Sapieżyny, która w 1828 roku sprzedała dobra szydłowieckie Skarbowi Królestwa. Od tego czasu następowała powolna dewastacja zamku, który był wykorzystywany jako magazyn zboża i browar.
W 1939 r. zamek przeszedł na własność Skarbu Państwa. Po zniszczeniach w drugiej połowie XIX wieku i kolejnych z drugiej wojny światowej zamek zabezpieczono w latach 1951-1952, a po 1965 roku całkowicie odrestaurowano. Obecnie mieści się tu Muzeum Ludowych Instrumentów Muzycznych.