ród lub zamek w Szydłowie prawdopodobnie istniał już w 1255 roku, kiedy to przebywał tam ze swoim dworem Bolesław Wstydliwy. Przypuszcza się, że ta wczesna książęca rezydencja mogła znajdować się na wzgórzu, gdzie obecnie stoi kościół Wszystkich Świętych, chociaż zapis ten prawdopodobnie odnosi się do drewnianego grodu.
Szydłów otrzymał prawa miejskie w pierwszej ćwierci XIV wieku, a dokładniej w 1329 roku za sprawą króla Władysława Łokietka. W czasach panowania Kazimierza Wielkiego, około 1350 roku, miasto zostało otoczone murami obronnymi, a zamek wzniesiony równocześnie stanowił integralną część fortyfikacji. Zamek ulokowano w zachodnim narożniku miasta, wykorzystując naturalne ukształtowanie terenu, ze skarpą opadającą do doliny rzeczki Ciekącej.
Mury
Widok od południowego-zachodu, fot. ZeroJeden, X 2005
zamkowe obejmowały nieregularny wielobok o powierzchni ponad 7000 m2. Wzdłuż południowego odcinka murów znajdował się główny budynek mieszkalny, pełniący funkcję rezydencji królewskiej. Ten dwukondygnacyjny budynek na planie prostokąta o wymiarach 13 na 35 metrów był podzielony na dwie izby na każdym poziomie. Od strony zewnętrznej posiadał ryzalit, prawdopodobnie mieszczący kaplicę zamkową. W narożniku zachodnim znajdowały się dwie cylindryczne wieże o średnicy około 10,6m i murach grubych na 3 metry, z których jedna włączona w ciąg murów miała wysunięty na zewnątrz ""dziób"". W północnym narożniku dziedzińca umiejscowiono budynek administracyjny, również dwukondygnacyjny, z przyziemiem podzielonym na trzy komnaty. Wjazd do zamku znajdował się we wschodnim odcinku murów od strony miasta, zapewne przez bramę. Do budowy zamku użyto miejscowego wapienia o jasnokremowym odcieniu.
Pod koniec panowania Kazimierza Wielkiego lub w czasie rządów jego następcy Ludwika Węgierskiego zamek został rozbudowany. Typowo
Ruiny zamku w Szydłowie od zachodu, akwarela Teodora Chrząńskiego, 'Kazimierza Stronczyńskiego opisy i widoki zabytków w Królestwie Polskim (1844-1855)'
obronne założenie od strony południowej powiększono o część rezydencjonalną z kamiennym gotyckim pałacem o wymiarach 12,75 x 35 m. Posiadał po dwie izby na obu kondygnacjach oraz czworoboczny ryzalit wysunięty z elewacji południowej. Pałac posiadał bogaty wystrój kamieniarski i był ogrzewany hypokaustycznie. Po rozbudowie zamek zajmował prawie 7 tys. m². W czasach króla Władysława Jagiełły który często podróżował po kraju szydłowiecki zamek gościł króla 17 razy. Z polecenia tego władcy w latach 1394-95 trzymano tutaj w honorowej niewoli najmłodszego brata władysławowego - Świrdygiełłę, późniejszego wielkiego księcia Litwy. W czasach Piastów i Jagiellonów Szydłów pełnił funkcję siedziby starosty i sądu.
W XV wieku rozebrano obie okrągłe wieże i w miejscu włączonej w ciąg murów wzniesiono kwadratową basztę zwaną Skarbczykiem, do której później dobudowano prostokątny budynek z przyporami.W 1528 roku Skarbczyk został podwyższony o jedną kondygnację.
W 1541 roku Szydłów ucierpiał w wyniku pożaru, który doszczętnie zniszczył zabudowania zamkowe. Zamek odbudowano w stylu renesansowym. Lustracja z 1564 roku wspomina o zamku odbudowanym. W tym okresie jednak zamek
Widok od południa na Skarbczyk, fot. ZeroJeden, X 2005
nie spełniał już funkcji rezydencji władców.
Po pożarze z 1630 roku i zniszczeniach dokonanych przez wojska szwedzkie podczas potopu w 1656 roku, zamek odnowiono, a wjazd zastąpiono budynkiem bramnym. Jeszcze w 1723 roku z inicjatywy starosty Józefa Załuskiego zamek przebudowano i zmodernizowano.
W 1789 roku zamek znajdował się już w stanie pogłębiającej się ruiny, a w 1822 roku resztki wystawiono na licytację z przeznaczeniem do rozbiórki. Planów nie zrealizowano, ale zabudowania nadal niszczały. Stosunkowo zły stan zamkowych murów pogorszył się jeszcze za sprawą wojsk napoleońskich, które podczas przemarszu na Moskwę urządziły w nim stajnie i skład broni.
Od początków XX wieku rozpoczęto prace zabezpieczające. W latach 1945-1947 J.Żukowski prowadził prace, które w znacznym stopniu przywróciły dawny wygląd murom zamkowym. Główny budynek został wtedy nieco podwyższony i zwieńczony krenelażem. Później odbudowano Skarbczyk i przeznaczono go na niewielkie muzeum. Ostatnie prace rozpoczęto w 1999 roku pod kierunkiem
fot. ZeroJeden, X 2005
Leszka Kajzera. Wzniesiono budynek szkolny na terenie dziedzińca.
Zachowały się będący trwałą ruiną budynek południowy zwany „Salą Rycerską”, budynek bramny tzw. skarbczyk w którym funkcjonuje Regionalne Muzeum oraz poprowadzone skrajem wzgórza mury obronne. Ze względu na wyróżniający się w skali kraju stan zachowania, mury miejskie w Szydłowie nazywane są często polskim Carcassonne.