Najbardziej charakterystycznym budynkiem w Budwitach jest pałac, który powstał w latach 1855-1857. Jego budowę zlecił Gustav von Frantzius, a projekt przygotował znany architekt Carl Heinrich Eduard Knoblauch. Budynek w stylu neorenesansowym wyróżnia się elegancką bryłą, ryzalitami i wieżą widokową, skąd można było podziwiać okoliczne krajobrazy. Wokół pałacu znajdował się rozległy park krajobrazowy z egzotycznymi drzewami, stawami i alejami spacerowymi.
Pałac przez wiele lat należał do rodu von Eben. Był to nie tylko dom właścicieli majątku, ale także centrum zarządzania pobliskimi folwarkami. Posiadłość była samowystarczalna – znajdowały się tam budynki gospodarcze, młyny i spichlerze.
W czasie II wojny światowej w budynku przechowywano zbiory Biblioteki Królewieckiej, które po wojnie trafiły do polskich instytucji naukowych. To jedno z wielu miejsc na terenie Polski, gdzie ukrywano cenne dzieła sztuki i dokumenty.
Po 1945 roku pałac pełnił różne funkcje. Był m.in. ośrodkiem kolonijnym i należał do gospodarstwa rolnego. Z biegiem lat jego stan się pogarszał, a brak odpowiednich funduszy doprowadził do stopniowej degradacji budynku. Dziś pałac znajduje się w rękach prywatnych i stopniowo odzyskuje swój dawny wygląd. Planowane są dalsze prace konserwatorskie, które mają przywrócić mu dawną świetność i dostosować go do nowoczesnych potrzeb użytkowych.
Syn Ferdynanda Wilhelma – Johannes Karl Louis Eben (24.02.1855 – 30.06.1924) był pruskim generałem, oficerem niemieckiego sztabu generalnego, zasłużonym w pierwszej wojnie światowej, brał udział w wojnie na froncie francuskim, rosyjskim i w Karpatach, posiadał najwyższe odznaczenia niemieckie. 29 sierpnia 1906 r. Cesarz Wilhelm II von Hohenzollern nadał mu dziedziczne szlachectwo, od tego czasu rodzina właścicieli Budwit pisała się „von Eben”. Od 14 lutego 1919 r. pozostawał na emeryturze i mieszkał w Budwitach, gdzie zmarł 30 czerwca 1924 r. Został pochowany na szczątkowo zachowanym dziś cmentarzu w Budwitach (niewielki las przy polnej drodze od dawnej stacji kolejowej w kierunku pałacu).
Drugi syn Ferdynanda Wilhelma – Reinhold von Eben (5.07.1853 – 24.02.1930?) był także pruskim generałem (generał porucznik), po przejściu w stan spoczynku mieszkał i pracował w Budwitach. Rozbudował Budwity o kopalnię torfu oraz cegielnię. Cegielnia zlokalizowana była za torami kolejowymi przy granicy i drodze do Jarnołtowa. Z cegielnią tą wiążę się fakt budowy tzw. bocznicy szlakowej w pobliżu cegielni. Reinhold von Eben-Bauditten, 13 sierpnia 1901 roku, uzyskał patent na budowę bocznicy i specjalnych wózków do przestawiania wagonów normalnotorowych na wąskotorowe i odwrotnie, bez konieczności przerywania toru szerokiego na szlaku kolejowym. Umożliwiło to w praktyce załadunek cegły na wagony szerokotorowe na terenie cegielni, ich transport wąskim torem po terenie cegielni i do szlaku kolejowego i dalszy eksport liną kolejową Myślice – Małdyty.
Reinhold von Eben przy urządzaniu parków i ogrodów w należących do niego posiadłościach współpracował z jednym z najwybitniejszych w owym czasie architektów krajobrazu, którym był Johannes Larass. W olsztyńskim archiwum zachował się do dziś projekt Larassa z 1880-1881 r. parku w Gumniskach Wielkich należącego do von Ebena. Reinhold von Eben zmarł w Budwitach 24 lutego 1930 r. (rok z uwagi na trudność w odczycie może być błędny), gdzie został pochowany na miejscowym cmentarzu. Na zachowanych elementach nagrobka czas zatarł część napisów ale zachował się relief przedstawiający wspiętego rumaka. Relief nawiazujący do miłości Reinholda von Eben do koni.
