История одного из наиболее знаменитых и массовых истребителей третьего поколения начинается в августе 1953 года. Компанией McDonnell были начаты исследования по продлению жизни истребителя F3H Demon путем существенного улучшения характеристик и расширения решаемых задач. Рассматривались варианты истребителя Model 98A (F3H-E) с двигателем J67, истребителя Model 98B (F3H-G с двумя J65 и F3H-H с двумя J79) и разведчик Model 98F. Эти варианты имели увеличенную скорость крыла и скорость полета 1,52М с двигателем J65 и 1,97 с J79. Самолеты Model 98C и 98D планировалось оснастить дельтовидным крылом.

19 сентября 1953 года McDonnell вышла к Бюро по аэронавтике ВМФ США с предложением одноместного всепогодного истребителя Model 98. Так как флот в то время не нуждался в подобном самолете, был предложен вариант быстро заменяемых носовых секций с одно- и двухместными кабинами, что, по мнению конструкторов, позволило бы привлекать самолет к решению различных задач. Так же была спроектирована носовая часть, в которой, в зависимости от потребности, можно было разместить различные РЛС, разведывательное оборудование, а так же 4 20-мм пушки или выпускаемую пусковую установку на 56 НУРС FFAR. Для размещения оружия было 9 внешних узлов подвески (по 4 на крыльях и 1 подфюзеляжный).

Поддерживая тесный контакт с Бюро по аэронавтике группа конструкторов по руководством Германа Баркей пришли к выводу, что истребитель, основанный на базе Model 98B обладает наибольшим потенциалом и было получено разрешение на строительство полноразмерного макета. Как и ожидалось, макет и ожидавшиеся летно-технические характеристики, привлекли большой интерес со стороны ВМФ. Однако считалось, что самолеты Grumman XF9F-9 и Vought XF8U-1, заказанные в апреле и июне 1953 года, наиболее соответствуют требованиям ВМФ к сверхзвуковому истребителю. Бюро по аэронавтике подтолкнуло McDonnell к участию в этом конкурсе с предложением одноместного двухдвигательного всепогодного многоцелевого истребителя. После положительного отзыва, полученного от Бюро по аэронавтике на предложение McDonnell об истребителе на базе F3H-G/H, 18 октября 1954 года ВМФ США выпустил письмо о намерениях, в котором планировалась закупка двух опытных самолетов под обозначением YAH-1. Но через семь месяцев требования были пересмотрены. На фирму McDonnell в Сент-Луис прибыло четыре офицера ВМФ и в течении 1 часа сформулировали желания флота. Было решено отказаться от многоцелевого AH-1. Флоту требовался всепогодный перехватчик FH-1, способный защищать ударное авианосное соединение на дальних подступах. Самолет должен был самостоятельно обнаруживать, опознавать и уничтожать воздушные цели, что требовало оснащения самолета мощным радиолокационным оборудованием и введения второго члена экипажа – оператора БРЛС. Решение о том, что YAH-1 будет представлять собой двухместный всепогодный истребитель с управляемым ракетным, а не пушечным вооружением, было объявлено 26 мая 1955 года. Самолет должен был быть способен патрулировать в течении двух часов на удалении до 465 км от авианосца и оставаться в воздухе до трех часов без дозаправки. Обозначение самолета было изменено на XF4H-1.

В течении двух недель конструкторы произвели переработку конструкции представили проект с четырьмя полу утопленными пусковыми установками ракет с полуактивной радиолокационной системой наведения AAM-N-6 Sparrow III (с сентября 1962 года – AIM-7). Под фюзеляжем был размещен один пилон для подвески большого ПТБ. Окончательный контракт на постройку и испытания двух опытных XF4H-1 и пяти предсерийных F4H-1 был заключен в июле 1955 года. Силовую установку было решено оснастить двумя двигателями J79-GE-8.

После большого количества продувок в аэродинамической трубе выявилось, что у нового самолета могут быть большие проблемы с устойчивостью. Конструкторами McDonnell было принято решение на использование тонкого стреловидного крыла со стреловидностью 45° по 1/4 хорды крыла. Новое крыло имело хорошие малоскоростные характеристики, что было продиктовано особенностями посадочных режимов палубной авиации. Для повышения устойчивости складные части крыла получили характерный зуб и были отклонены вверх на 12°. Площадь вертикального оперения была увеличена. Горизонтальное оперение решено было сделать цельноповоротным с поперечным V –равным -23°, что позволяло избежать затенения при больших углах атаки. Основные опоры шасси рассчитывались на посадку с вертикальной скоростью 7 метров в секунду. Носовая стойка шасси получила возможность выпускаться на 0,5 метра во время взлета. В носовой части разместили РЛС AN/APQ-50 фирмы Westinghouse. Большое внимание было уделено компоновке отсеков оборудования для облегчения технического обслуживания. Для аварийного покидания самолета кабины решили оборудовать катапультируемыми креслами Mk H5 фирмы Martin-Baker.

26 мая 1955 года компания McDonnell получила одобрение на детальную проработку и постройку пары прототипов YF4H-1. Но, учитывая общую стоимость программы и технические риски, ВМФ решили закупить и конкурировавший самолет XF8U-3, фирмы Chance Vought, предлагавшей глубокую модернизацию истребителя F8U-1, являвшейся на самом деле новым самолетом. Это был однодвигательный одноместный самолет с высокими летно-техническими характеристиками, но меньшим количеством вооружения.

В мае 1958 года первый опытный YF4H-1 был из сборочного цеха. Многим внешний вид не понравился. Звучали даже фразы, что кто-то "наступил самолету на нос и дал пинка под зад".

Свой первый полет YF4H-1, пилотируемый летчиком-испытателем Робертом Литтлом, совершил 27 мая 1958 года на авиабазе Эдвардс. Испытания выявили необходимость переконструирования входного канала воздухозаборника. После завершения испытаний начался нелегкий конкурс YF4H-1 против одного из пяти построенных XF8U-3. Победителем конкурса был признан самолет фирмы McDonnell, так как не смотря ни на что, флот хотел двухместный двухдвигательный перехватчик. 19 декабря 1958 года Бюро по аэронавтике ВМФ заключило контракт на постройку в дополнение к уже заказанным 23 (включая два уже построенных) еще 24 серийных самолета.

Из-за задержек в создании планировавшегося на самолет двигателя J79-GE-8 на первый опытный YF4H-1 оснастили двигателями J79-GE-3A c с тягой 6713 кг. Первые 45 серийных самолетов получили двигатели J79-GE-2 или 2A со статической тягой 4695 кг и 7325 кг на форсаже. Топливная система самолета состояла из 6 фюзеляжных и 2 крыльевых баков. В ходе испытаний и эксплуатации была отработана система дозаправки в воздухе, установлена система сдува пограничного слоя с отбором воздуха у компрессора. Серийные самолеты с J79-GE-2 получили обозначение F4H-1F. Во время празднования 20-и летней годовщины компании McDonnell 3 июля 1959 года самолету было присвоено имя Phantom II. В связи с проводившейся рационализацией системы обозначений, 18 сентября 1962 года истребителю F4H-1F было присвоено новое обозначение F-4A. Машины, выпускавшиеся с J79-GE-8, обозначили как F-4B.

В 1959 году было решено произвести ряд полетов с целью побития мировых рекордов скорости полета, скороподъемности и высоты. Было развернуто несколько программ, в ходе которых использовался неизмененный серийный самолет. И только в операции “Skyburner” машину оснастили системой впрыска воды.

Побитие рекордов решили начать с рекорда высоты в 28851 метр, установленного СССР. Операция получила название “Top Flight”, ставшую частью заключительного этапа летных испытаний Фантома на авиабазе Эдвардс. Шестого декабря 1959 года летчик Лоренс Флинт младший поднял в воздух прототип YF4H-1, заправленный минимально необходимым количеством топлива и оснащенный барометрической регистрирующей аппаратурой. Флинт поднял машину на высоту 15240 метров, которая согласная расчетом была оптимальной для начала штурма рекордной высоты. На форсаже, летчик разогнал Фантом до скорости превышавшей 2М, после чего начал плавный набор высоты, контролируя при этом перегрузку. Самолет поднялся еще на 19 км. В ходе полета, продолжавшегося 40 минут, аппаратура зарегистрировала новый рекорд высоты 30 040 метров.

Следующим рекордом стал рекорд скорости, установленный летчиком корпуса морской пехоты на замкнутой дистанции 500 километров. Полет осуществлялся с подвешенными подфюзеляжным и подкрыльевыми ПТБ. Полет был осуществлен 5 сентября 1960 года подполковником Томасом Миллером. Самолет прошел 500 километров за 15 минут 19 секунд, установив рекорд 1 958 км/ч. Две недели спустя, 25 сентября 1960 года, летчик ВМФ Дэвис совершил попытку на замкнутой дистанции 100 км. Был установлен рекорд 1459 км/ч.

28 августа 1961 года началась операция "Sageburner", целью которой было побитие рекора на трехкилометровой дистанции при полете на малой высоте. Предыдущий рекорд был установлен на самолете F-100 в 1953 году. Самолет пилотировался лейтенантом Хантингтоном Хардисти и лейтенантом Эрлом Диэшь. Полет осуществлялся вдоль берега реки Рио-Гранде в долине Стеллион Сайт на ракетном полигоне Уайт Сендс. Зафиксированная приборами скорость 1 451 км/ч стала новым рекордом полета на малой высоте.

В ходе операции "Skyburner" 22 ноября 1961 года, на втором опытном самолете YF4H-1, который пилотировал подполковник корпуса морской пехоты Роберт Робинсон, был поставлен рекорд скорости 2 585 км/ч.

Всего с 1959 по 1969 года было поставлено 16 мировых рекордов в различных классах. За исключением операции "Skyburner", все рекорды были поставлены на обычных строевых самолетах.

Первую посадку на палубу авианосца "Индепенденс" Фантом совершил 15 февраля 1960 года. В апреле того же года испытания продолжились, но на авианосце "Интерпид".

Пока ставился рекорд за рекордом, 23 предсерийных F-4A были задействованы в летно-испытательном центре на авиабазе Эдвардс и испытательном центре ВМФ Патуксент Рива. Машины проходили интенсивную обкатку, в ходе которой выявлялись и выискивались пути устранения недостатков. В ходе серийного производства двигатели J79-GE-2 заменили на более мощные J79-GE-2A, что добавило 454 кг тяги. Установка более мощных двигателей, с большим расходом воздуха, потребовала изменения воздухозаборников. Характерная для воздухозаборников F-4A верхняя "губа" была убрана. Под обтекателем РЛС была размещена инфракрасная станция AAA-4 фирмы ACF. Так же разработана и испытана система дозаправки в воздухе. В корневых частях крыла установили пилоны под пару ракет AIM-9 или одну AIM-7, а так же другое вооружение, таким образом F-4 мог нести 6 УР AIM-7 или 4 AIM-7 и до 4 AIM-9. Для управления оружием и стрельбой была установлена СУО Aero-1A. А для применения оружия по земле был использован вычислитель AJB-3. Помимо управляемых ракет самолет мог нести до 7257 кг бомб, НУРС на четырех крыльевых и одном подфюзеляжном узлах. Упоминавшаяся уже система сдува пограничного слоя была впервые установлена на 5-ой предсерийной машине. Начиная с 19-го серийного самолета F4H-1F кабину пилотов подняли, а фонарь и его остекление увеличили, что позволило улучшить обзор. Но тем не менее, обзор в заднюю полусферу оставлял по-прежнему желать лучшего. Бортовая радиолокационная станция была заменена на AN/APQ-72. Для подсветки цели ракетам AIM-7 была установлена станция непрерывного излучения APA-157. У новой БРЛС антенна имела больший диаметр, что потребовало увеличения диаметра обтекателя. Воздухозаборники системы кондиционирования, рекомендованные вынесены за обтекатель РЛС.

В начале 1960 года началось переучивание летно-технического состава на новый самолет. Первой стала эскадрилься VF-101.