Як-129 оснастили двигателями Р-11А-300 с тягой на форсаже 4850 кгс. Это была опытная модификация серийного Р-11-300 (применялся на МиГ-21), отличавшаяся от него расположением коробки агрегатов, т.к. предназначалась для установки в гондоле под крылом. Гондолы новых двигателей имели круглое входное отверстие с небольшим центральным конусом. Топливная система опытной машины включала шесть фюзеляжных баков общей емкостью 4025 л.

Первый полет новой машины состоялся 5 марта 1958 г. В воздух ее поднял ведущий летчик-испытатель ОКБ В.М.Волков. С этого дня начались заводские испытания машины, которые проводились на аэродроме ЛИИ и завершились 4 октября. К тому времени новому бомбардировщику присвоили серийное обозначение Як-28. Самолет получил в НАТО кодовое обозначение Brewer-A (Пивовар).  Кроме Волкова, самолет облетали летчик-испытатель завода №30 С.Г.Петухов и ведущий пилот ЛИИ С.Н.Анохин. По сравнению с Як-26 взлетная масса нового бомбардировщика выросла до 12885 кг (при нормальной бомбовой нагрузке 1200 кг и запасе горючего 3200 кг). На форсаже удалось набрать 10000 м за 3,5 мин и достичь максимальной скорости 1500 км/ч. Предполагалось получить потолок в 17800 м, но из-за самовыключения форсажа удалось достичь только 16300 м. Летчики отмечали вполне удовлетворительную устойчивость и управляемость, хорошие взлетно-посадочные характеристики (разбег и пробег составляли от 850 до 950 м). Перекомпоновку носовой кабины одобрили не только заводские пилоты, но и штурманы ЛИИ. В процессе испытаний для улучшения продольной устойчивости у корня крыла и в ХЧФ установили аэродинамические гребни. Кроме того, по аналогии со вторым опытным Як-27Р удлинили законцовки крыла, которые стали выступать за балансиры-обтекатели крыльевых опор.

Когда первые сведения об удачных полетах Як-129 дошли до А.С.Яковлева, все еще пассивно наблюдавшего за переделкой "двадцать шестого", он вдруг заинтересовался новой машиной. На аэродроме стал регулярно появляться его новый первый заместитель Г.И.Хрустицкий. Однако, когда начались госиспытания, заказчик выдвинул ряд претензий. По целому ряду причин ОКБ не могло в поставленные сроки устранить некоторые из них. Двигатели недодавали расчетной тяги, и это повлияло на характеристики опытного бомбардировщика. Устранить недостатки попытались на втором опытном экземпляре самолета.

Вторую опытную машину (Як-28-2) тоже получили, переделав серийный Як-26. От Як-28-1 самолет отличался прежде всего новыми двигателями Р-11АФ-300 с тягой на форсаже по 5750 кгс. Их применение потребовало разработать новые гондолы с увеличенной площадью поперечного сечения и воздухозаборниками овальной формы. На входе воздухозаборника было установлено центральное тело новой конструкции, а на выходе мотогондол - сопло Лаваля, которое, по расчетам, должно было обеспечить дополнительную тягу. Эти мотогондолы были разработаны под руководством нового начальника моторного отдела ОКБ профессора Поликовского, ранее возглавлявшего ЦИАМ. Когда начались испытания, выяснилось, что разгон самолета от М=1,3 до М=1,6 происходит очень медленно, и попытки достичь максимальной скорости связаны с настолько большим перерасходом топлива, что его может не хватить для возвращения на аэродром. Для уменьшения потерь воздухозаборники оснастили двухпозиционным центральным конусом, который выдвигался при достижении скорости, соответствующей М=1,45. На Як-28-2 был выполнен и ряд других доработок. В частности, стабилизатор сделали переставным. Обшивку крыла в корневой части по инициативе Хрустицкого после консультаций в ЦАГИ заменили на стальную. Проверка основных летных характеристик показала, что максимальная скорость самолета у земли составляет 950 км/ч, а на высоте 12000 м -1250 км/ч. В процессе испытаний летчик ОКБ В.П.Смирнов слетал в «Третьяковку» - один из подмосковных грунтовых аэродромов, где произвел посадку и взлет с грунтовой ВПП с цементным макетом бомбы массой 1500 кг. После этого летчик-испытатель С.Г.Петухов и штурман Н.М.Шиповский перегнали бомбардировщик на полигон под Саратовым, где совместно с военными производилось бомбометание на сверхзвуковой скорости.

После доведения точности сброса бомб до нормативов дозвуковых бомбардировщиков, главные усилия сосредоточили на доработках мотогондолы и исследованиях нового сопла. Однако еще до их завершения Генеральный конструктор, воодушевленный первыми удачами, решил передать машину в ГК НИИ ВВС на госиспытания. В Институте ведущим летчиком по этой машине был назначен п-к Ф.М.Соболевский, штурманом - А.М.Халявин. В одном из полетов на самолете произошло рассоединение топливопровода, после чего экипаж совершил благополучную вынужденную посадку на грунт вне аэродрома. За героизм, проявленный при спасении опытной машины, экипаж наградили орденами Боевого Красного Знамени. Несмотря на инцидент, в целом госиспытания прошли довольно быстро, т.к. Як-28 оказался единственным в то время бомбардировщиком, способным на высотах более 10000 м с бомбовой нагрузкой в 1200 кг лететь со скоростью порядка 1400 км/ч. Третья опытная машина Як-28-3 (желтый бортовой номер «56», предположительно также была переделана из серийного Як-26 с таким же бортовым номером) по конструкции была аналогична второй. Она также участвовала в испытаниях.

Вскоре последовало решение о запуске самолета в серийное производство на авиазаводе в Иркутске. Для оказания помощи этому предприятию была направлена группа сотрудников ОКБ-115. Первые серийные Як-28 (изделие «Б») практически не отличались от второй опытной машины. Заказ на них был ограничен, потому что бомбардировщики оснащались лишь оптическим прицелом, т.к. радиолокационный еще не был внедрен в серию.

В ОКБ-115 уже завершалась разработка вариантов самолета со станциями "Инициатива" и "Лотос", но их серийный выпуск мог, в лучшем случае, начаться лишь через несколько лет. Поэтому было принято решение о постройке и запуске в серию промежуточной модификации, оснащенной РЛС РПБ-3. По отработанной еще на Як-25Б компоновке ее расположили под кабиной пилота, а антенну закрыли радиопрозрачным обтекателем. Автоматическая наводка на цель осуществлялась с помощью автопилота. На самолете устанавливался и оптический прицел ОПБ-115. Под крылом могли подвешиваться ПТБ, которые крепились под небольшим углом к оси самолета для безопасного отделения при сбрасывании. Машина оснащалась одной пушкой НР-23 для стрельбы вперед с боезапасом в 50 снарядов. Бомбовая нагрузка осталась прежней. Самолет получил обозначение Як-28Б. Его заводские испытания начались в 1959 г. Их проводили летчик-испытатель В.М.Волков, штурман Н.М.Шиповский и ведущий инженер В.Н.Павлов. В 1960 г. прошли госиспытания, после чего машина сменила в производстве базовый Як-28. В Иркутске бомбардировщик строился под шифром "изделие 28Б". Сходившие со стапелей самолеты испытывали заводские пилоты Э.Н.Чельцов, Г.М.Куркай,  Г.И.Старостенко, Н.Н.Иванов, В.С.Пранцкявичус, Г.Е.Буланов, А.М.Ярошевич и В.П.Науров. В процессе серийного производства двигателей Р-11АФ-300 удалось увеличить их тягу на форсаже до 5900-6050 кгс.

После поступления первых бомбардировщиков в войска, несмотря на то, что все экземпляры были приняты военной приемкой, на завод и в ОКБ-115 стали приходить многочисленные претензии. В основном, они касались массового появления трещин в элементах конструкции. По распоряжению Генерального конструктора одну из иркутских машин выделили для ресурсных испытаний, на которой по ускоренной типовой программе начали наращивать налет часов. В каждом полете включался форсаж двигателей, на котором пилот должен был отлетать определенное время на сверхзвуковой скорости. За каждый час полагалась повышенная плата, и летчики охотно работали на так называемом самолете №4. После 100 ч налета, с точки зрения представителей ОКБ, существенных дефектов обнаружить не удалось. Не появились они, по их словам, и после 200, 300 и 400 ч. На самом же деле за это время на машине возникло множество трещин, которые, как считали конструкторы, не влияли на прочность. В Москве требовали отчет о проведении ресурсных испытаний бомбардировщика, оформление которого затягивалось из-за расхождения мнений по вопросу о прочности. В итоге было решено рассортировать все трещины на две группы: в силовых элементах конструкции и в несиловых. При таком подходе оказалось, что только в четырех случаях были выявлены трещины в силовых элементах, по которым приняли срочные меры и выпустили бюллетени для предотвращения их появления в эксплуатации. Трещины, обнаруженные в мелких лючках, зализах и задних кромках закрылков, подлежали ремонту в полевых условиях и на общую прочность самолета не влияли.

Было признано, что опережающие ресурсные испытания Як-28Б прошел удовлетворительно. С таким заключением отчет отправили Генеральному конструктору. Дефекты на бомбардировщике обнаруживались в течение всего срока эксплуатации. Одним из них стал несинхронный выпуск закрылков: на посадке один из них отклонялся нормально, а другой - частично, не доходя и до половины требуемого угла. На земле застрявший закрылок выпускался полностью. Причем на разных машинах закрылки "застревали" по-разному: то левый, то правый. Установка самописцев подтвердила дефект. Первоначально предположили наличие неодинакового трения в гидроцилиндрах привода, но после их перестановки картина не изменилась. После ряда экспериментов директор завода А.Хлоптунов распорядился прекратить испытания, т.к. причину все равно найти не удавалось. Однако по настоянию конструкторов в серии дополнительных полетов ее удалось определить. Дело в том, что на задних кромках закрылков Як-28 имелись тонкие отклоняемые на земле пластины ("ножи"), предназначенные для компенсации "валежки" на больших скоростях полета. Они отгибались в разные стороны. Отогнутый вниз "нож", помимо своего полезного действия в отношении "валежки", приводил к такому перераспределению давлений на закрылке, что его выпуск затруднялся. В конечном итоге проблему решили, применив гидроцилиндры большей мощности.

Различные дефекты возникали вновь и вновь. Так, однажды при перелете из Иркутска в Москву группы принятых военной приемкой бомбардировщиков, следовавших на высоте 10000 м, стали отказывать радиополукомпасы. Не долетев до цели, группа совершила вынужденную посадку. Выяснилось, что во время недавнего ливня вода попала внутрь фюзеляжа, во время высотного перелета замерзла и стала препятствием вращению антенн РПК. Пришлось срочно вводить герметизирующие элементы в зализах хвостового оперения и по периметру лючков, а также ввести проверку на водонепроницаемость при сдаче самолетов военной приемке.

Обнаружилось немало проблем с автопилотом. Однажды во время испытаний в НИИ ВВС на машине, управляемой экипажем Ю.М.Сухова, согласно заданию, автопилот был включен сразу после взлета, после чего самолет буквально растрепало, его конструкция подверглась значительным деформациям, и все же летчику удалось посадить Як. За этот полет Сухов был удостоен ордена Боевого Красного Знамени.

Испытания самолета с целью его дальнейшего совершенствования продолжались в течение многих лет. Так, с 20 марта по 4 апреля 1962 г. в ГК НИИ ВВС проводились совместные государственные испытания серийного бомбардировщика Як-28 №1900304 с прицелом РПБ-3 и улучшенными взлетно-посадочными характеристиками (фактически это был Як-28Б, но в документации иногда индекс "Б" опускался). Доработки самолета проводились в ОКБ-115 с целью сокращения длины разбега и пробега. В задней части фюзеляжа между шпангоутами 34 и 37 установили узлы крепления двух стартовых пороховых ускорителей СПРД-118. Кроме того, вместо нетормозных колес на переднюю стойку шасси установили тормозные колеса КТ-82 (они ставились на все серийные самолеты, начиная с этого номера) и ввели автомат выпуска тормозного парашюта. В отличие от Як-28Л запас топлива был уменьшен на 755 кг, а при максимальной взлетной массе - на 995 кг. Испытания проводили летчики-испытатели ГКНИИ ВВС Ю.М. Сухов и В.В.Добровольский. После их завершения доработки внедрили в серию.

В 1963 г. проходил испытания Як-28, на котором установили тормозной щиток. Однако на серийных машинах это новшество применять не стали.

С поступлением Як-28 в строевые части первым делом выявилось значительное отклонение параметров работы системы управления вооружением от заявленных. Следующим серьезным дефектом стало массовое появление трещин, в т.ч. на силовых элементах конструкции. С трещинами разобрались достаточно быстро: провели цикл опережающих ресурсных испытаний и выпустили соответствующие бюллетени. А вот для "доведения до ума" системы управления вооружением пришлось проводить специальные исследования. Дело в том, что точность бомбометания на сверхзвуке в строевых частях оказалась настолько низкой, что речь шла о попадании уже даже не в цель, а хотя бы в полигон. Оказалось, что низкая точность бомбометания объяснялась не только характеристиками оборудования (в т.ч. запаздыванием электронного следящего устройства), но также аэродинамикой бомб и условиями полета. В конце концов, эффективность Як-28 удалось поднять до требований ВВС, хотя самолет так и не избавился окончательно от некоторых ограничений, связанных с применение вооружения. Вообще, различные дефекты конструкции давали о себе знать в течение всего срока эксплуатации Як-28, поэтому самолеты непрерывно дорабатывались. Так, несинхронный выпуск закрылков устранили применением более мощного гидропривода, а замерзание вращающихся антенн РПК - герметизацией лючков и зализов вертикального оперения. Для сокращения длины разбега и пробега на Як-28 начали устанавливать стартовые пороховые ускорители, заднюю опору шасси выполнили "приседающей", переднюю оснастили тормозными колесами, ввели автомат выпуска тормозного парашюта (система срабатывала в момент касания земли специальной штангой, опускаемой из-под хвостовой части фюзеляжа). Провели также обширные исследования штопорных характеристик самолета, но здесь результаты оказались ниже ожидаемых: выяснилось, что Як-28 выходит из штопора с запаздыванием в 2-3 витка, склонен к перемене направления вращения, а потеря высоты с учетом последующего пикирования составляет 8000 м. Поэтому в РЛЭ было указано, что при невыходе из штопора до высоты 4000 м самолет необходимо покидать. Считалось нецелесообразным также выполнение штопора в учебных целях.

На первых порах Як-28 вызывал недоверие летного состава. Трудности доставляли переставной стабилизатор (всегда существовала опасность забыть переставить его), и нередкие отказы двигателей. Зародившаяся еще на Як-25 проблема засасывания посторонних предметов с земли не была решена полностью, и преподносила неприятные сюрпризы. Для парирования разворота при отказе двигателя на Як-28 служил автомат курса АК-2А, но этот агрегат, призванный предотвращать катастрофы, иногда сам провоцировал так называемые "ложные отказы", неожиданно отклоняя руль направления. Пересилить ножное управление в этой ситуации было очень трудно, и если "ложный отказ" случался на взлете, шансов на благополучный исход было очень мало. В пилотировании досаждали строгость выдерживания глиссады и определенная сложность освоения посадки на заднюю опору или на две точки, потому что стояночный угол самолета был довольно велик, а при посадке на переднюю опору возникали "козлы". Не удалось окончательно преодолеть также валежку и реверс элеронов, поэтому максимальная скорость полета на малых высотах была ограничена до 900 км/ч.

Но все же Як-28 был сравнительно несложен в пилотировании, и по мере освоения недоверие к нему исчезло. География применения самолета настолько обширна, что проще попытаться найти регион СССР, где этих машин не было, чем перечислить вооруженные ими полки. Наглядной иллюстрацией может служить перечень военных округов, над которыми летали "28-е": Московский, Ленинградский, Прибалтийский, Белорусский, Одесский, Прикарпатский, Северокавказский, Закавказский, Среднеазиатский, Туркестанский, Дальневосточный, Забайкальский и др., а также Северная, Южная и Западная группы войск и Группа советских войск в Германии. Бомбардировочные полки, переходившие на новую технику с Ил-28, выполняли свои прежние задачи, включавшие также доставку к целям тактических ядерных боеприпасов. Постановщики помех прикрывали действия фронтовой авиации, а разведывательные полки в случае войны должны были действовать в интересах командующих фронтами. Эти части работали наиболее интенсивно: их основной задачей было обнаружение баллистических и зенитных ракет, оперативных резервов, командных пунктов, узлов связи и тыловых коммуникаций, а в мирное время разведчики постоянно вели радиотехническую разведку вдоль границ СССР и стран Варшавского договора.

Як-28 обладал значительной по тем временам боевой нагрузкой, немалой тяговооруженностью, хорошей маневренностью на максимале и форсаже. Эти качества в конечном итоге позволили начать отработку групповых действий в составе до дивизии включительно в любое время суток и в любых метеоусловиях. Боевая подготовка проводилась исключительно интенсивно, и экипажи Як-28 добивались высоких результатов в точности бомбометания с высоты 12000 м, которое оставалось основным способом боевого применения этих бомбардировщиков. Недостатком считали только малую дальность полета на сверхзвуке. Разведчики в конце концов выявили превосходство над МиГ-21Р в универсальности применения, а в надежности даже превзошли более поздние Су-24МП, оснащенные "сырыми" комплексами разведоборудования. Даже переход к действиям преимущественно с малых высот не привел, как можно было бы предположить, к потере боеспособности Як-28: несмотря на малую пригодность для такой работы прицельно-навигационного и разведывательного оборудования, экипажи бомбардировщиков и разведчиков, выработав соответствующие методики, вполне уверенно чувствовали себя в полетах у земли и справлялись с поставленными задачами.

Бомбардировщикам Як-28 не довелось участвовать в боевых действиях, они были привлечены лишь к обеспечению ввода войск Варшавского договора в Чехословакию, но это была не более чем демонстрация силы. А вот экипажам 668-го БАП в Тукумсе (ПрибВО) применить оружие все же пришлось: речь идет о подавлении мятежа на СКР "Сторожевой", который поднял 8 ноября 1975 г. замполит корабля Валерий Саблин. Утром 9 ноября 10 Як-28Б вылетели из Тукумсе, имея приказ уничтожить мятежный СКР на выходе из Иберского пролива. Из-за сложных метеоусловий цель нашел только экипаж п/п-ка Поротикова, возглавлявшего группу: бомбы ФАБ-250 упали в районе кормы "Сторожевого", лишив его хода. Второй экипаж отбомбился по шедшему в Финляндию советскому сухогрузу, на котором лишь по счастливой случайности никто не погиб, а третий Як-28Б вышел на катер Командующего КБФ, но экипаж вовремя осознал ошибку. Не будем иронизировать, нужно понимать психологическую сложность задачи и нервозную обстановку на всех уровнях руководства.

В общей сложности в строевые части поступило около 350 ударных Як-28 различных модификаций. В середине 70-х гг. во фронтовой авиации Як-28 начал уступать место самолету следующего поколения Су-24. Як-28 оставил заметный след в истории авиационной техники. Само по себе создание столь различных по назначению серийных самолетов на базе одного планера - явление редчайшее в советском авиастроении. Да и за рубежом найдется немного подобных примеров. Основные варианты «двадцать восьмого» создавались в течение более 10 лет путем последовательной модернизации вполне удачного Як-25. Хотя такой эволюционный путь породил основные конструктивные недостатки Як-28, но, по всей видимости, именно он позволил в эпоху всеобщей ракетизации добиться правительственной поддержки и в конце концов запустить самолет в серийное производство. Этого не удалось ни А.Н.Туполеву со своим самолетом «98», ни С.В.Ильюшину с Ил-54.