Родившийся в Вене и названный Гордоном в честь американского друга своих родителей, Голлоб начал войну как пилот тяжелого истребителя-разрушителя (Zerstdrer) и летал на самолете Bf 110 в составе ZG 76 (76-й эскадры разрушителей), с которой одержал одну победу в Польше, пять во Франции и в Битве за Британию. Затем Голлоб пересел на истребитель Bf 109 и воевал в составе JG 3 на Восточном фронте. 18 октября 1941 г. он одержал девять побед за один день, что было рекордом в то время. Свою 100-ю победу Голлоб одержал 20 мая 1942 г., а 29 августа его счет достиг 150 побед, он был первым летчиком, имевшим такие результаты в то время.

Хотя позднее он летал в составе JG 77, он не смог увеличить свой счет. Получив повышение и став командиром группы истребителей на Западе, он в январе 1945 г. сменил Адольфа Галланда на посту General der Jagdflieger (генерала ягдфлигеров, то есть командующего всей истребительной авиацией Люфтваффе). Согласно характеристике, которую ему дал "Макки" Штайнхофф, командующий новым Люфтваффе после войны, он был "амбициозным человеком, без чувства юмора".