Одна из старейших киевских улиц. Время ее появления — 11 век, времена Киевский Руси. Это был главный путь на Житомир, потому возникло такое название.
В начале XIX века улица состояла из двух частей — нижней (от Козьего болота до Михайловской площади) и верхней — как Житомирская улица. В 1830-е годы — неофициально, а в 1869 году — официально, нижняя и верхняя части улицы получили названия Малой и Большой Житомирской улиц соответственно (фактически улица была «разъединена» в 1857 году после завершения сооружения Присутственных мест).