W połowie XIX wieku resztki pałacu w Ujeździe zakupiła rodzina szlachecka włoskiego pochodzenia Orsetti. Byli oni właścicielami rozległych ruin do czasu wkroczenia do ich włości Armii Czerwonej w roku 1944. W stuleciu panowania na zamku Orsettich, w pałacu nie przeprowadzano żadnych prac remontowych. Rodzina ta zamieszkała dwór usytuowany nieopodal zwalisk. Resztki zamku stanowiły jedynie atrakcję pokazywaną krewnym Orsettich.
Obecnie wnętrza pałacu stanowią niezwykłą atrakcję turystyczną. Od czasów drugiej wojny światowej ogólnodostępne ruiny przyciągały licznych amatorów niezwykłych widoków. Powstawały także rozliczne koncepcje mające na celu zachowanie rozpadającej się budowli dla przyszłych pokoleń. Najciekawsze z nich zakładały odbudowę pałacu i fortyfikacji na kształt XVII wiecznej rezydencji. Planowano przywrócenie budowli jej pierwotnego wyglądu. Nie udało się uzyskać trwałej pomocy ze strony władz partyjnych w latach pięćdziesiątych. Projekt przedstawił prof. Majewski - dyrektor Kierownictwa Odnowienia Zamku Królewskiego na Wawelu.
Również z Krakowa nadeszły kolejne plany odbudowy pałacu. Dzięki projektowi władz tamtejszej politechniki udało się odrestaurować w części bramę wjazdową. Włodarze Ministerstwa Obrony Narodowej planowali na początku lat osiemdziesiątych w odrestaurowanym obiekcie utworzyć ośrodek rekreacyjno – wypoczynkowy. Jednakże i z tych planów rekonstrukcyjnych nic nie wyszło. Powodem było przekazanie funduszów na cele kampanii stanu wojennego w roku 1981.
Także obecnie istnieją dwie organizacje stawiające sobie za cel odbudowę pałacu w Ujeździe. Pierwszą z nich jest ogólnopolski Instytut im. Sobieskiego dla którego jest to najistotniejszy obiekt w województwie świętokrzyskim. W roku 2005 powstało Stowarzyszenie Krzewienia Tradycji i Opieki nad Zamkiem Krzyżtopór. Zgrupowani w nim działacze samorządowi i ludzie nauki rozpoczęli działania od prac archeologicznych i porządkowych. W nieśmiałych planach członków stowarzyszenia pojawia się wizja całkowitej odbudowy obiektu!
