Синагога была возведена в 1894—1895 годах на средства купца Габриеля-Якова Геселевич Розенберга, которому принадлежали земельный участок и само здание. Архитектор Н. Н. Горденин оформил строение в мавританском стиле. Поскольку строительство синагог в тогдашнем Киеве было затруднено из-за ограниченных прав на проживание в городе иудеев, первоначально Розенберг согласовал у городских властей возведение личного особняка, а затем получил разрешение в губернском правлении на якобы приспособление готового особняка под молельню. В начале ХХ века владельцем здания синагоги стал племянник Розенберга — барон Владимир Гинцбург, сын Горация Гинцбурга. На его средства в 1915—1916 годах была проведена реконструкция синагоги с внутренней перепланировкой (архитектор Валериан Рыков). В советское время синагога на Подоле оставалась действующей до 1929 года, но затем её по распоряжению властей закрыли и передали под районный клуб рабочих-кустарей. Однако по окончании Великой Отечественной войны, в 1945 году, деятельность синагоги была возобновлена.