Na fasadzie pałacu z 1912 r. znajduje się stylizowana tarcza herbowa rodu von Below.
Pomorska historia tej pochodzącej z Meklemburgii rodziny szlacheckiej sięga XIII w. Z 1296 r. pochodzi zapisek o Wluoldusie de Belowe, który był zarządcą dworu księcia Bogusława IV Pomorskiego.
Historia Sławutówka jest typowa dla tej części Europy — burzliwa i zmienna. Majątek przechodził z rąk do rąk. Po okresie brandenburskim i krzyżackim, Sławutówko przechodzi na kilkaset lat pod polskie panowanie. Właścicielami Sławutówka są kolejno: Sławutowscy, Wejherowie, Radziwiłłowie (po żonie Jakuba Wejhera — Radziwiłłównie), Sobiescy (po żonie Michała Radziwiłła — Sobieskiej) i Przebendowscy. Pod koniec XVIII w. Józef hrabia Przebendowski sprzedał Sławutówko Anglikowi, baronowi Aleksandrowi Gibsone’owi. Ten — odsprzedał krewnemu — hrabiemu Ottonowi Keyserlingkowi. Po jego śmierci, na mocy testamentu, w 1827 r. Sławutówko znalazło się w posiadaniu rodziny von Below, która wkrótce objęła we władanie także pobliski pałac w Rzucewie, którym władały te same rodziny, co Sławutówkiem.
Nowy pałac w Sławutówku (niem. Klein Schlatau) na miejscu dawnego dworku myśliwskiego z XVIII w. prawdopodobnie zbudowanego przez hrabiów Przebendowskich, wybudował Gustaw Karol Teodor von Below (1855-1940) – pruski dyplomata (sekretarz poselstwa w Atenach, Kopenhadze i Lizbonie, radca poselstwa w Watykanie, konsul generalny w Sofii, pod koniec kariery — tajny radca dworu). Po wybuchu I wojny światowej zakończył karierę dyplomatyczną i osiadł w rodzinnym majątku.
Umarł w 1940 r. i został pochowany w Sławutówku. Jego żoną była ur. w 1866 Henrietta z domu Quistorp — wywodząca się z rodziny osiadłej na Pomorzu Zachodnim od XIV w., nobilitowanej pod koniec XVIII w. Henrietta zarządzała majątkiem w latach ciągłej nieobecności męża robiącego karierę dyplomatyczną zagranicą. Przeżyła go o 5 lat. Zginęła śmiercią tragiczną — ukrywającą się w piwnicy pałacu 80-letnią Henriettę znaleźli przechodzący tamtędy sowieccy sołdaci. Wedle legendy kazali jej tańczyć do utraty sił strzelając pod nogi.