Foto za: www.derslaw.com.pl
Pałac w Rytwianach został wybudowany na przełomie XIX i XX w. Pożar w 1925 r. strawił zabudowania, a ruiny pałacu decyzją księcia Artura Radziwiłła zostały rozebrane. W latach 1927–1929 przebudowano dawny magazyn cukrowni na pałac letni, który z czasem stał się siedzibą Artura Radziwiłła i jego małżonki Krystyny hr. Broel-Plater.W czasie II wojny światowej pałac zajęli Niemcy, następnie wojska radzieckie zorganizowały w nim szpital gruźliczy. Po upaństwowieniu majątku, w pałacu była Spółdzielnia Samopomoc Chłopska i Państwowe Gospodarstwo Rolne. Po roku 1975, kiedy rozpoczęto budowę elektrowni w pobliskim Połańcu, pomieszczenia pałacowe przeznaczono na hotel robotniczy. W latach 80-tych popadający w ruinę pałac przekazano gminie, która po kilku latach użytkowania (gmina zorganizowała w nim ośrodek szkoleniowy) z powrotem przekazała obiekt elektrowni. W latach 90-tych pałac gruntownie wyremontowano. Obecnie mieści się tu hotel. Pałac otoczony jest 6 ha parkiem, założonym w latach 1927–1929.
Niedaleko pałacu znajduje się Pustelnia Złotego Lasu, dawny konwent powołany do istnienia w 1624 r., z fundacji wojewody krakowskiego Jana Magnusa Tęczyńskiego i jego brata Gabriela, wojewody lubelskiego. Kameduli przebywali w Rytwianach 201 lat. Mocą dekretu carskiego z 1819 r. klasztor został skasowany.Ostatni mnisi opuścili pustelnie w 1825 r. udając się do pustelni na warszawskich Bielanach.