Im November 1930 wurde unter dem Vorsitz des Tuchgroßhändlers und Gemeindevorstandsmitglieds Hermann Philipp (1863-1938) die F. ins Leben gerufen. Der Bildungsausschuss der Gemeinde unter der Leitung Fritz Warburgs sowie der Gemeindevorstand unterstützten die Stiftung finanziell. Benannt nach dem Philosophen Franz Rosenzweig (1886-1929), der zu den wichtigsten Exponenten der jüdischen Renaissance in der Weimarer Republik gehörte, widmete sich die F. der jüdischen Erwachsenenbildung.
Die Gründungsgeschichte des I. reicht bis in die frühen fünfziger Jahre des 20. Jahrhunderts zurück, als sich einige Hamburger Bürger engagierten, um die geretteten reichen Archivbestände der jüdischen Gemeinden (→Archiv) im Hamburger Raum wissenschaftlich auszuwerten.
Die F. wurde 1815 als Schule für arme jüdische Kinder gestiftet. Ihre wohlhabenden Gründer waren eng mit der jüdischen Reformbewegung verbunden, die durch eine umfassende Neugestaltung der innerjüdischen Belange eine Angleichung an die nichtjüdische Gesellschaft erreichen wollte.
→Salomon Heine erbot sich 1839, die gesamte Summe für den Bau eines neuen Hospitals der jüdischen Gemeinde zu übernehmen. Der Bau des 80-Betten-Hauses erfolgte zwischen 1841 und 1843.
Seit Beginn der Ansiedlung von Juden in Hamburg am Anfang des 17. Jahrhunderts hatte die städtische Geistlichkeit vergeblich vom Senat Maßnahmen zur Bekehrung der Juden zum christlichen Glauben, und damit die Umsetzung des Kernstücks der auf die Juden bezogenen Lehrsätze der lutherisch-orthodoxen Glaubenslehre in konkrete Politik gefordert.