Артист появился на свет в маленьком селе Марьяновка в Украине. Иван пел в монастырском хоре, когда его заметил композитор Кошиц. Со временем Козловский начал выступать в хоре Троицкого народного дома, затем окончил музыкально-драматический институт, а начал строить карьеру.
С 1926 года Козловский выступал в Большом театре, а в конце 30-х он уже стал любимым оперным певцом Иосифа Сталина. Артист купался в зрительских овациях, поражая своими вокальными данными. При этом Иван Семенович был человеком суеверным. Артист верил в приметы, считая, что именно они помогли добиться высочайших успехов в опере.
Первой женой артиста стала актриса Александра Алексеевна Герцик. Они сыграли свадьбу в 1920 году. Актриса была старше супруга. Замуж она выходила еще за неизвестного певца, который позднее стал одним из главных советских теноров. Стеснения в средствах семья не испытывала. Козловский баловал супругу подарками, часто помогал друзьям в финансовом плане. С Герцик артист прожил 17 лет, пока не встретил юную Галину Сергееву.
С любовницей Иван Семенович познакомился в Крыму. На тот момент ему было уже 34 года, а Галине – 20 лет. Молодая девушка вскружила голову артисту. В течение трех лет после этой поездки на курорт Козловский предпринимал попытки уйти из семьи к молодой возлюбленной. В итоге Александра Алексеевна ушла сама, догадавшись, что мужу она больше не нужна.
Козловский тотчас женился на Галине. В браке у пары появилось двое детей: дочери Анна и Анастасия. На публике Козловский и Сергеева выглядели идеальной парой, но на деле же они таковой не являлись. Супруги часто ссорились: Галине ревновала Ивана Семеновича к молодым дамам, которым он оказывал внимание. Да и на подарки Козловский был скуп, что обижало актрису. В итоге брак завершился тем, что Галина встретила молодого врача и сама ушла от мужа.
На протяжении 40 лет после ухода супруги Козловский был один. Он любил Сергееву и даже не мог помыслить о том, чтобы жениться на ком-то другом. Артист ушел из жизни в 1993 году. Ему было 93 года.