Иван Семенович Козловский родился 24 марта 1900 года на Киевщине, в селе Марьяновка, которая находится между Васильковом и Белой Церковью, в крестьянской семье. Мальчик с ранних лет выказал чрезвычайную восприимчивость к музыке, мог подолгу слушать, как поют или играют другие. Да и сам, обладая чистым высоким альтом, с великой радостью пел в церковном хоре. В 12 лет Ивана отдают на учебу в Киев, в духовное училище, но скучные занятия там не особо привлекают будущего артиста. Зато с большим интересом он посещает спектакли Народного дома, где выступали корифеи украинского театра — Садовский, Саксаганский, Заньковецкая. Вскоре Козловский и сам начинает участвовать в концертах как солист хора, которым руководит выдающийся украинский дирижер Александр Кошиц.

Однако в то время юношу привлекает карьера не певца, а драматического артиста, хотя занятия вокалом он не оставляет. В 1917 году Иван поступает в Киевский музыкально-драматический институт имени Лысенко в класс Елены Муравьевой, у которой занимались практически все певцы, ставшие впоследствии гордостью украинской (и не только) сцены. Впрочем, элементарные упражнения, необходимые на начальном этапе обучения, не удовлетворяют юношу с поставленным от природы голосом, к тому же выступавшему на сцене, и он тайком от преподавателя разучивает Оперные партии для тенора, в том числе и партию Фауста из одноименной оперы Шарля Гуно. Правда, «игра в жмурки» продолжается недолго, и Козловский выносит на суд Елены Алекандровны свою первую крупную работу. Муравьева, нужно отдать ей должное, с пониманием отнеслась к устремлениям юного воспитанника и существенно доработала с ним эту непростую для начинающего певца партию. Именно партии Фауста суждено было сыграть решающую роль в сценической жизни Ивана Козловского. А дело было так. Проучившись всего год в Киеве, молодой певец решил попробовать себя на сцене в Полтавском украинском музыкально-драматическом театре. Шел 1918 год, вернуться в Киев, чтобы продолжить учебу, он не смог — в Киеве в то время то и дело сменялась власть и добраться до города было практически невозможно. Козловский остается в Полтаве, вступает в Красную Армию, в инженерные войска, а в свободное время выступает с концертами в художественной самодеятельности. В Полтаве открывается оперный театр, и на гастроли приезжает известный в то время солист, столичная знаменитость Платон Цесевич. В репертуаре стоял «Фауст» Гуно, а певца не удовлетворял ведущий тенор театра, и гастрольное выступление было под угрозой срыва. И тут кто-то вспомнил о запевале-красноармейце Иване Козловском. Юноша, не без волнения и страха повторив некогда подготовленную вместе с Муравьевой партию, с огромным успехом выступил на полтавской сцене, заслужив слова одобрения не только от публики, но и от самого Цесевича.

А далее — головокружительная карьера. Его сразу же берут в театр солистом, через два года — в 1924-м — он поет в столичной, тогда Харьковской опере, а еще через два года становится солистом Большого театра. Слушатели навсегда запомнили его в партиях Ленского из оперы «Евгений Онегин» Чайковского, Лоэнгрина из одноименной оперы Вагнера и, конечно, Юродивого из «Бориса Годунова» Мусоргского — партии, очень небольшой и, на первый взгляд, второстепенной, но возведенной певцом в разряд главных. А выступать с концертами он не прекращал до последних своих дней, одаряя слушателей радостью встречи с Высоким и Вечным.