Одна із найстаріших київських вулиць. Час її появи – 11 століття, часи Київської Русі. Це був головний шлях на Житомир, бо виникла така назва.
На початку XIX століття вулиця складалася з двох частин – нижньої (від Козячого болота до Михайлівської площі) і верхньої – як Житомирська вулиця. У 1830-ті роки – неофіційно, а в 1869 – офіційно, нижня і верхня частини вулиці отримали назви Малої та Великої Житомирської вулиць відповідно (фактично вулиця була «роз’єднана» в 1857 після завершення споруди Присутних місць).