Родился 10 октября 1909 года в деревне Межево, ныне Оршанскоро района Витебской области (Беларусь), в семье крестьянина. Окончил среднюю школу и 1-й курс педагогического техникума в городе Орша. С 1927 года в Красной Армии. В 1928 году окончил Ленинградскую военно - теоретическую школу лётчиков, в 1930 году - Оренбургскую военную авиационную школу лётчиков и летнабов, в 1936 году успешно окончил Военно - Воздушную академию имени Жуковского.

В боях Великой Отечественной войны с января 1943 года. Сражался на Брянском, Воронежском, Степном, 2-м Украинском фронтах. Участник боёв на Курской дуге, освобождения Украины, Молдавии, Румынии, Венгрии, Чехословакии.

К сентябрю 1943 года командир эскадрильи 193-го истребительного авиационного полка ( 302-я истребительная авиационная дивизия, 4-й истребительный авиационный корпус, 5-я Воздушная армия, Степной фронт ) майор Н. И. Ольховский совершил 84 боевых вылета, в 17 воздушных боях сбил 12 самолётов противника.

4 февраля 1944 года за мужество и воинскую доблесть, проявленные в боях с врагами, ему было присвоено звание Героя Советского Союза.

К концу войны заместитель командира истребительно авиационной дивизии гвардии подполковник Н. И. Ольховский совершил 128 успешных боевых вылетов, участвовал в 34 воздушных боях, в которых уничтожил 19 вражеских самолётов.

После окончания войны продолжал служить в Военно - Воздушных Силах.

С 1953 года гвардии подполковник Н. И. Ольховский - в запасе. Жил в Москве, работал инженером на одном из предприятий.

Награждён орденами Ленина, Красного Знамени ( четырежды ), Александра Невского, Красной Звезды, медалями.

Умер 26 августа 1978 года.