Родился 5 октября 1914 года в гор. Пирятин, ныне Полтавской области (Украина), в семье рабочего. Окончил среднюю школу, работал токарем на Харьковском заводе "Серп и Молот". Окончил аэроклуб. В ВМФ с 1935 года. Окончил Харьковское училище летчиков - наблюдателей.

Участник советско - финской войны 1939 - 1940 годов. Командир отряда 12-й отдельной истребительной эскадрильи ( 61-я истребительная авиационная бригада ВВС Балтийского Флота ), старший лейтенант А. И. Нефедов в воздушных боях лично сбил 2 самолета противника и 1 в составе группе.

 2 февраля 1940 года при возвращении с боевого задания спас экипаж советского самолета, упавшего на территории, занятой противником.

21 апреля 1940 года ему было присвоено звание Героя Советского Союза.

В период Великой Отечественной войны командовал истребительной эскадрильей, был помошником начальника и начальником штаба авиаполка. В воздушных боях сбил 13 самолетов противника.

После войны Анатолий Иванович продолжил службу в Военно - Морском Флоте.

С 1962 года полковник А. И. Нефедов - в запасе.

Награжден Орденами Ленина, Красного Знамени, Отечественной войны 1-й степени, Красной Звезды, медалями.

Умер 29 сентября 1973 года.