Stopniowo Fuggerowie ograniczają swoją działalność na tych terenach (przede wszystkim z powodu niebezpieczeństwa tureckiego) i w 1580 r. sprzedają część zamku baronowi Mikołajowi Palfiemu, który trzy lata później żeni się z Marią Magdaleną Fugger, właścicielką drugiej części zamku. W ten sposób staje się jedynym właścicielem całej posiadłości. Baron szybko zabrał się do jego przebudowy, żeby zmienić zamek w wygodną siedzibę rodzinną. Jego potomkowie kontynuowali przebudowę. Członkowie rodziny Palfiów żyli na tym zamku do wiosny 1945 r., kiedy to uciekli przed zbliżającym się frontem wschodnim. Po II Wojnie Światowej zamek został upaństwowiony i przekształcono go w muzeum dawnych wnętrz szlacheckich.