Родился 17 февраля 1919 года в деревне Первые Яковлевичи, ныне Оршанского района Витебской области (Беларусь), в семье крестьянина. Окончил 7 классов и аэроклуб в Орше. С 1938 года в Красной Армии. В 1941 году окончил Чугуевскую военную авиационную школу лётчиков.

С июня 1941 года в действующей армии. До сентября служил в 148-м ИАП, летал на И-16 и ЛаГГ-3. Сражался на Юго - Западном фронте. По июль 1942 года - в 164-м ИАП. До января 1943 года - в 6-м ИАП, где летал уже на Як-1. Затем, до апреля 1943 года - в 9-м ГвИАП.

К апрелю 1943 года лётчик 9-го Гвардейского истребительного авиационного полка ( 8-я Воздушная армия, Южный фронт ) Гвардии лейтенант И. Я. Сержантов совершил 258 боевых вылетов, в 85 воздушных боях лично сбил 13 и в составе группы 8 самолётов противника.

29 апреля 1943 года погиб в результате несчастного случая ( отравился техническим спиртом ). К тому времени на его боевом счету числилось 14 личных и 8 групповых побед.

24 августа 1943 года за мужество и воинскую доблесть, проявленные в боях с врагами, Ивану Яковлевичу Сержантову посмертно удостоен звания Героя Советского Союза.

Награждён орденами Ленина, Красного Знамени, Красной Звезды, медалями. Похоронен в городе Ростов - на - Дону.

Список известных побед: