Синагога була зведена в 1894—1895 роках коштом купця Габріеля-Якова Геселевича Розенберга, якому належали земельна ділянка і сама будівля. Архітектор Н. Н. Горденін оформив будову у мавританському стилі. Оскільки будівництво синагог у тодішньому Києві було утруднено через обмежені права на проживання в місті юдеїв, спочатку Розенберг погодив у міської влади зведення особистого особняка, а потім отримав дозвіл у губернському правлінні на нібито пристосування готового особняка під молитовню. На початку ХХ століття власником будівлі синагоги став племінник Розенберга – барон Володимир Гінцбург, син Горація Гінцбурга. На його кошти у 1915—1916 роках було проведено реконструкцію синагоги з внутрішнім переплануванням (архітектор Валеріан Риков). За радянських часів синагога на Подолі залишалася чинною до 1929 року, але потім її за розпорядженням владу закрили та передали під районний клуб робітників-кущарів. Однак після закінчення Великої Вітчизняної війни, 1945 року, діяльність синагоги було відновлено.