oczątki Pilicy są związane z zamkiem Smoleń, będącym pierwotną siedzibą rodu Pileckich, zwanych wcześniej Toporczykami. Zamek Smoleń był centrum administracyjnym dóbr pileckich, z którego Pileccy sprawowali rządy. Wraz z upływem czasu Pileccy weszli w związki małżeńskie z innymi rodami, a Pilica przeszła w ręce Elżbiety Pileckiej, która wniosła ją w posagu Wincentemu Granowskiemu. Następnie dobra pileckie dziedziczyli potomkowie Elżbiety, Pileccy herbu Leliwa.
W roku 1570 Jan Pilecki sprzedał Pilicę biskupowi Filipowi Padniewskiemu. W 1610 roku Władysław Padniewski, bratanek Filipa, opuścił zamek Smoleń i wzniósł nową rezydencję obronną już w samej Pilicy, po drugiej stronie rzeki. Nowy, piętrowy, czworoboczny zamek został zbudowany w stylu włoskim z wewnętrznym dziedzińcem. Czterdzieści komnat zdobiły
fot. Konrad Kłos, 1914
włoskie sztukaterie, a strop sali jadalnej pokryto kasetonami. Pierwotnie obiekt otaczały umocnienia ziemne.
Po śmierci Padniewskiego, Pilicę kupił kasztelan krakowski Jerzy Zbarski, a następnie w roku 1631 Konstanty Wiśniowiecki. W roku 1636 jego córka Helena wniosła Pilicę w posagu Stanisławowi Warszyckiemu, kasztelanowi krakowskiemu.
Warszycki, będący postacią kontrowersyjną i znaną z bogactwa, otoczył pałac bastionowymi fortyfikacjami na planie prostokąta o wymiarach 170x300 metrów. Wał ziemny o wysokości ponad 10 metrów został oskarpowany murem z kamienia łamanego, a narożniki wzmocniono ciosami. Na wale znajdowało się murowane przedpiersie. Zamek posiadał sześć bastionów: cztery narożne i po jednym na dłuższych kurtynach. Na bastionach usypano nadszańce z ziemnym przedpiersiem, służące jako stanowiska dla baterii dział. Wewnątrz bastionów znajdowały się kazamaty, połączone korytarzami i wyposażone w otwory strzelnicze. Całość otaczała fosa o szerokości około 20 metrów. Wjazd do zamku prowadził groblą usypaną wśród stawów.
Podczas potopu
Północny bastion, fot. ZeroJeden, XII 2004
szwedzkiego w 1655 roku zamek został zdobyty przez wojska szwedzkie, które później, wycofując się, spaliły zamek, miasto oraz pobliski Smoleń. Ponownie zamek znalazł się w rękach szwedzkich podczas wojny północnej.
Jeszcze w XVII wieku Maria z Wesslów Sobieska, ówczesna właścicielka Pilicy, rozpoczęła remont zamku po zniszczeniach wojennych, który ukończył jej bratanek Teodor Wessel. Po niej zamek często zmieniał właścicieli, którzy w coraz mniejszym stopniu dbali o rezydencję. Dopiero w 1852 roku przemysłowiec Krystyn August Moes odremontował niszczejące zabudowania. Po pożarze kolejnego remontu podjął się L. Epstein, nadając fortyfikacjom neogotycki charakter.
Po drugiej wojnie światowej zamek był wykorzystywany jako dom dziecka i zakład wychowawczy dla młodzieży, ale z powodu braku środków finansowych znów zaczął niszczeć. W 1989 roku zamek przeszedł w ręce prywatne i rozpoczęły się długotrwałe prace remontowe, które do dziś nie zostały zakończone.
Obecnie pałac nie jest udostępniony do zwiedzania. Można jedynie
Front pałacu, fot. ZeroJeden, V 2000
spacerować po otaczającym go parku i podziwiać pozostałości bastionowych fortyfikacji, w tym neogotyckie wieżyczki.