Pałac wraz z otaczającym go pięknym parkiem znajduje się po lewej stronie drogi powiatowej do Ujsół. Obecnie mieści się w nim Zakład Opiekuńczo – Leczniczy.
Budowa pałacu wiąże się z Anastazym Siemiońskim który był jednym z właścicieli Rajczy. W 1843 założył on w Rajczy hamry – zakłady żelazne, gdzie przetapiano rudę. Mieściły się one w pobliżu pałacu. Kolejnym właścicielem pałacu był Teodor Primavesi, a lata 1854 – 1893 przyniosły dalszą rozbudowę pałacu, który przyjął zwarty, oryginalny, neogotycki kształt. Był to budynek jednokondygnacyjny z poddaszem. Piękny zadbany park z licznymi rzeźbami, stawem i unikatowym drzewostanem dodawał całości splendoru. W latach 1894 – 1914 właścicielem Rajczy był Książe Władysław Lubomirski, który dokonał gruntownej przebudowy pałacu. Projektodawcą był jeden z krakowskich architektów, do dziś trwają spory historyków o ustalenie jego nazwisko. Pałac nabrał w tym czasie neorenesansowego charakteru z jednej strony wygodnej wiejskiej rezydencji, z drugiej funkcji reprezentacyjnej. Książe Lubomirski wiódł bujne życie towarzyskie i za jego czasów pałac gościł wielu znanych twórców Młodej Polski takich jak Karol Szymanowski czy Grzegorz Fitelberg. Pałac tętnił życiem i był znany w szerokich kręgach.
W roku 1914 Książe Władysław Lubomirski sprzedał pałac Stefanowi Karolowi Habsburgowi. Rezydując w Żywcu Arcyksiążę często przebywał w pałacu w Rajczy organizując tu barwne życie kulturalne. Odbywały się tu liczne koncerty takich sław jak: Paderewski, Szymanowski, Fitelberg, Różycki, Rubinstein. W 1916 książę przekazał obiekt na cele sanatoryjno – szpitalne dla kombatantów I wojny Światowej. Po adaptacji budynek wraz z parkiem w roku 1918 oficjalnie został przekazany na szpital wojskowy Czerwonego Krzyża dla chorych na gruźlicę.
Podczas II wojny Światowej w pałacu mieścił się niemiecki sztab Wermachtu. Później do pałacu wkroczyli Rosjanie dewastując jego zabytkowe wnętrza. W roku 1954 utworzono tu Państwowe Sanatorium Przeciwgruźlicze. W latach 1966 pałac przeszedł remont, który niestety zniszczył jego zabytkowe wnętrza. Dobudowano także nową część obiektu, która jednak zupełnie nie pasował do pałacu pod względem architektonicznym. W roku 1988 decyzją Wydziału Kultury i Sztuki Urzędu Wojewódzkiego w Bielsku – Białej cały zespół pałacowo – parkowy został wpisany do Rejestru Zabytków. W roku 1991 obiekt przekształcono w Państwowy Zakład Opiekuńczo – Leczniczy, a od 1999 r. mieści się tu Samodzielny Publiczny Zakład Opiekuńczo – Leczniczy dla przewlekle chorych. Pałac przeszedł także gruntowny remont, wykonano prace konserwatorskie i rekonstrukcji wnętrz, dzięki któremu zaczyna odzyskiwać swój pierwotny blask.