Ursprünglich wurde es als „Neue Herberge“, später als „Zum bunten Löwen“ bezeichnet. Das von der Stadt erbaute Gasthaus war das erste Gebäude außerhalb der Stadtmauern. Das Gasthaus wurde von der Stadt als „gebannte Herberge“ an verschiedene Wirte verpachtet. Diese Bannschaft bedeutete die Pflicht, Speisen und Getränke an Durchreisende bereitzuhalten. 1751 wurde das Haus an den aus Auerbach stammenden Christian Heinrich Dieffenbach verkauft. Das Gasthaus blieb 147 Jahre lang und über fünf Generationen im Besitz der Familie Dieffenbach. Historisch bedeutsam unter den Besitzern war vor allem Johann Georg Dieffenbach (1787–1848). Der liberale Politiker, der ab 1832 Abgeordneter der Landstände des Großherzogtums Hessen wurde, stand ab 1818 an der Spitze der Verfassungsbewegung, die eine Verfassung für das Großherzogtum Hessen forderte (die am 17. Dezember 1820 als Verfassung des Großherzogtums Hessen auch erlassen wurde).