ierwsze wzmianki o Łodygowicach pochodzą z kroniki Jana Długosza. W XVI wieku wieś należała do Krzysztofa Komorowskiego, a po jego śmierci w 1608 roku odziedziczył ją Mikołaj Komorowski, który jednak szybko roztrwonił majątek.
Około 1629 roku Łodygowice stały się własnością Jerzego Zbaraskiego, kasztelana krakowskiego, który nad brzegiem rzeki Żylicy rozpoczął budowę murowanego dworu obronnego, w miejscu wcześniejszego drewnianego. Budowa nie została dokończona z powodu śmierci Zbaraskiego.
W 1631 roku budowę ukończył kolejny właściciel, Stanisław Warszycki. Wzniesiono jednopiętrową, częściowo podpiwniczoną budowlę na rzucie wydłużonego prostokąta.
Po stłumieniu powstania chłopów w Nowotarskimw 1670 roku, Warszycki przystąpił do budowy fortyfikacji
fot. ZeroJeden, VII 2003
bastionowych wokół dworu. Fortyfikacje założono na planie kwadratu z bastionamiw narożach, dodatkowo wzmocniono murowanym oskarpowaniem ziemnych wałów. Całość otoczono 20-metrową fosą wypełnioną wodą.
Zadaniem zamku bastionowego w Łodygowicach była obrona właścicieli przed buntami chłopów i zbrojnymi bandami z pobliskich gór.
Wzrost bezpieczeństwa w późniejszych latach spowodował częściową rozbiórkę fortyfikacji na przełomie XVIII i XIX wieku. W drugiej połowie XIX wieku dwór został nieznacznie przebudowany.
Do czasów obecnych zachowały się częściowo zniszczone wały ziemne bastionów i dwóch kurtyn z widocznymi śladami kamiennego oskarpowania. Budynek dworu, zachowany w dobrym stanie, został zaadaptowany na placówkę kulturalną.