Das Haus in der Seestraße 75 (heute: Hohenzollernstraße 3) in Ludwigsburg war ursprünglich Privateigentum des jüdischen Kaufmanns Josef Ottenheimer, der das Haus der Gemeinde zur Verfügung stellte. Seit dem 16. Mai 1938 war es offiziell das Gemeindehaus der jüdischen Gemeinde von Ludwigsburg.Im Sommer desselben Jahres beantragte die Gemeinde die Errichtung einer sogenannten „Kaffeewirtschaft“ in diesem Haus, da es der jüdischen Bevölkerung aufgrund der nationalsozialistischen Regierung nicht mehr erlaubt war, Cafés oder andere ähnliche Institutionen zu besuchen. Zunächst wurde der Antrag abgelehnt, dennoch wurde er am 31. August 1938 vom Polizeivorstand Ludwigsburg genehmigt. Da es sich bei dieser „Kaffeewirtschaft“ aber um einen eingetragenen Gewerbebetrieb handelte, der von jüdischen Personen geführt wurde, was während der NS-Zeit nicht erlaubt war, wurde sie am 7. November 1938 schon wieder geschlossen. Das Haus in der Seestraße war danach noch, ohne offiziellen Eintrag, ein Ort für Zusammenkünfte der jüdischen Bevölkerung.
Nach der Zerstörung der Ludwigsburger Synagoge während des Novemberpogroms am 10. November 1938, wurde das Haus für jüdische Gottesdienste und andere Veranstaltungen genutzt.Im Jahr 1941 wurden viele jüdische Bürger*innen aus Ludwigsburg vertrieben oder deportiert. Die, die noch dort lebten, mussten ihre Wohnungen verlassen und fanden Unterkunft und Schutz in der Seestraße 75. Im Dezember 1941 waren noch 18 von den ehemals 243 Juden (Stand 1900) in Ludwigsburg wohnhaft. Zu dieser Zeit wurde erstmals die Räumung und der Verkauf des Hauses im Gemeinderat Ludwigsburg besprochen, da die Ansammlung der Juden im Haus nicht mit den Regeln der Nationalsozialisten und der zugehörigen Regierung übereinstimmte. Die Bewohner wurden in andere Städte oder Ortsteile umgesiedelt.
Das Haus in der Seestraße war noch bis zum 1. Mai 1942 Eigentum der Jüdischen Kultusvereinigung Württemberg e. V. und wurde dann von der Stadt Ludwigsburg für 22.000 Reichsmark gekauft. Der Plan der Stadt war ein Umbau in ein Zweifamilienhaus.