Родился 17 октября 1916 года в деревне Селиваново ныне Волотовского района Новгородской области в семье крестьянина.  В 1936 году окончил Высшую парашютную школу, работал лётчиком-инструктором в Новгородском аэроклубе. В ВМФ с ноября 1939 года. Окончил Ейское военно-морское авиационное училище имени И.В.Сталина в августе 1940 года. Направлен в 32-й истребительный авиационный полк ВВС Черноморского флота.

Участник Великой Отечественной войны с июня 1941 года. Участник обороны Севастополя. Летал на разведку, штурмовку войск противника. Участвовал в воздушных боях.

12 ноября 1941 года младший лейтенант Иванов Я.М. дежурил на своём аэродроме. По сигналу тревоги поднялся в небо на самолёте МиГ-3 в паре с лейтенантом Саввой Н.И. для отражения налёта вражеской авиации на главную базу Черноморского флота. При подходе к Севастополю они обнаружили 9 бомбардировщиков противника He-111. Прикрываясь облачностью, наши лётчики неожиданно атаковали врага. Через несколько минут боя Иванову удалось сбить один "хейнкель". Строй бомбардировщиков нарушился и они поодиночке стали пробиваться к цели. Сделав боевой разворот, Иванов оказался рядом с другим "хейнкелем". Вражеский стрелок открыл по нему огонь. Дав несколько очередей, Иванов сделал последний решительный заход, поймал бомбардировщик в прицел и нажал на гашетку, но выстрелов не последовало. Тогда он подошёл вплотную и нанёс удар винтом по хвосту "хейнкеля". Потеряв управление, тот камнем пошёл к земле и взорвался на собственных бомбах. С повреждённым капотом и винтом Иванов произвёл посадку на своём аэродроме.

По данным немецких архивов 12.11.41 из налета на Севастополь не вернулся один Хе-111 (зав.№ 4277) из 1-й группы 27-й бомбардировочной эскадры "Бельке". Его экипаж в составе пилота обер-фельдфебеля Вильгельма Гофмана, штурмана унтер - офицера Карла Рёделя, радиста ефрейтора Гейнца Гросса, механика унтер - офицера Йозефа Гахманна и стрелка унтер - офицера Вильгельма Ганкена считается пропавшим без вести. Видимо, именно этот самолет и был таранен Ивановым. 

Через несколько дней в воздушном бою сбил ещё один самолёт противника. 17 ноября 1941 года при отражении массированного налёта авиации на город в бою с 31 вражескими бомбардировщиками, сопровождаемыми истребителями, сбил Do-215. Затем атаковал второй. Вражеские стрелки открыли по нему огонь со всех огневых точек. Меткой очередью Иванову удалось подбить "дорнье". Повреждённый бомбардировщик попытался уйти в сторону моря. Иванов на полном газу догнал его и тараном уничтожил. Обломки обоих самолётов упали в море в 5 километрах от берега.

Судя по документальным немецким данным потерь у Do-215 не было, зато отмечен таран русским истребителем Хейнкеля 111 (зав. № 4516) из 3-й группы эскадры "Бёльке". Сейчас можно с уверенностью утверждать, что именно этот самолет таранил Яков Матвеевич.

Звание Героя Советского Союза Якову Матвеевичу Иванову присвоено посмертно 17 января 1942 года.

Награждён орденом Ленина.