Bereits im 12. Jahrhundert befand sich an der Stelle des heutigen "Schlössle" in der Nähe des Uferparks in Ludwigshafen eine Burg. Hier wurde dann schließlich im 15. Jahrhundert von der Spitalverwaltung Überlingen ein neues Gebäude erbaut. Noch heute sind Teile aus dieser Epoche am Gebäude zu sehen. Im Laufe der Zeit wurden verschiedene Anbau- und Umbaumaßnahmen an dem Gebäude vorgenommen. Im 17. Jahrhundert wurde z.B. im barocken Stil ein Dachreiter mit Glocke ergänzt. Im 19. Jahrhundert folgte ein Wohntrakt. Seit dem 20. Jahrhundert komplettiert eine Veranda zum See das Schlössle.
Im Jahr 1959 wird die Gemeinde Ludwigshafen Eigentümer des Gebäudes, verkauft dieses aber bereits ein Jahr später weiter. Der Parkteil zum See wird nun öffentlich zugänglich.
In den 1990er Jahr entstehen nach Modernisierungsmaßnahmen im Schlössle Eigentumswohnungen.
