Die Synagoge wurde 1868 erbaut. Sie überstand die Pogromnacht 1938 unbeschadet, da sie wenige Monate zuvor, nachdem sich die jüdische Gemeinde aufgelöst hatte, in den Besitz der
politischen Gemeinde Leutershausen übergegangen war. In den letzten Kriegsjahren diente sie als Lager für Kriegsgefangene, danach unterschiedlichen gewerblichen Zwecken. Die Gemeinde Hirschberg kaufte das Gebäude 1985 zurück. Nach umfassender Renovierung wurde die Synagoge 2001 als „Haus der Kultur und Begegnung“ für kulturelle Veranstaltungen und Trauungen wiedereröffnet. 2014 gestaltete die Künstlerin Myriam Holme neben der ehemaligen Synagoge ein Mahnmal für die 27 aus Hirschberg stammenden jüdischen Opfer des Nationalsozialismus.