К моменту этого успеха Гербергер был тренером сборной уже восемнадцать лет. Он возглавил ее в 1936 году, после того как немецкие футболисты на XI Олимпийских играх, проходивших в Берлине, заняли лишь 6-е место. На этом посту Зепп Гербергер сменил доктора Отто Нерца, помощником которого был с 1932 года. Еще раньше, в конце 1920-х годов, Гербергер и сам играл в сборной Германии, но провел лишь 3 матча. В качестве футболиста он не блистал, однако, возглавив сборную, с немецкой обстоятельностью, не спеша, начал выстраивать крепкую и надежную команду в соответствии с собственными тренерскими воззрениями.
К первому для Гербергера чемпионату мира 1938 года, проходившему во Франции, это созидательная работа была далеко не завершена — немецкие футболисты сразу же выбыли из борьбы, уступив сборной Швейцарии, в то время одной из сильнейших в Европе. Тем не менее швейцарцы смогли победить лишь после переигровки, а первый матч закончился вничью — 1:1. Вполне возможно, сборной Германии не хватило лишь опыта международных встреч.
Взлет команды Гербергера пришелся на начало 1940-х годов, когда он пригласил в сборную блистательного форварда из «Кайзерслаутерна» Фрица Вальтера, которому предстояло стать основным игроком чуть ли не на два десятилетия. Основную ставку Гербергер делал на слаженность всех звеньев своей команды и учил футболистов играть просто, в жесткой силовой манере, но эффективно. В то же время действия команды отличались разнообразием, потому что тот же Фриц Вальтер был в первую очередь высокотехничным, а не силовым игроком. Но он мог в одно мгновение укротить мяч и сделать сверхточную передачу, обостряющую атаку, и на этом Гербергер во многом строил тактику нападения.
Столь же тонко Гербергер учитывал индивидуальные особенности любого из своих футболистов и умело использовал их в матче против того или иного соперника. Иной раз производимые им перед игрой изменения в составе удивляли всех, но всегда срабатывали на удивление эффективно. К тому же Гербергер досконально изучал своих соперников, да и вообще старался быть в курсе всех мировых футбольных тенденций, для чего много путешествовал, просматривая игру самых разных команд.
Кстати, он стал первым из тренеров, кто перед выездным матчем своей команды в другую страну отправлялся туда заранее, чтобы с истинно немецкой педантичностью заранее проверить абсолютно все, что могло оказаться важным, — от состояния футбольного поля до номеров гостиницы, где предстояло жить футболистам сборной.
Большим успехам сборной Германии, безусловно, помешала Вторая мировая война. Однако в первые ее годы команда нередко играла товарищеские матчи с сильными сборными европейских стран, например, с командой Венгрии, и показывала прекрасный футбол. Но в 1943 году, после того как в ходе войны наметился перелом не в пользу Германии, сборная страны была распущена, а многие ее футболисты ушли на фронт.
Следующий после войны чемпионат мира проходил в 1950 году в Бразилии, однако сборной ФРГ фактически еще не существовало. Тем не менее Гербергер за свой счет ездил по стране в поисках талантливых футболистов, которые могли бы составить основу новой национальной команды. Когда же его вновь официально назначили тренером сборной, одним из первых, кого он пригласил, был Фриц Вальтер. Великому футболисту тогда было уже за тридцать лет, и он сомневался, может ли принести команде пользу, однако Гербергер, искусный психолог, сумел его убедить.
Да и вообще Зеппу Гербергеру не было равных в умении создать в команде прекрасный психологический климат и настрой на победу. Особенно ярко это проявилось перед чемпионатом мира 1954 года. Сборная ФРГ приехала в Швейцарию далеко не в лучшем психологическом состоянии. Дело в том, что клуб «Кайзерслаутерн», игроки которого составляли основу национальной команды, в последнем матче чемпионата ФРГ потерпел неожиданное сокрушительное поражение со счетом 1:5.
Чтобы восстановить душевное равновесие футболистов, Гербергер с каждым из них беседовал долгие часы. Он сумел настроить команду на первый матч группового турнира со сборной Турции, выигранный со счетом 4:1, но затем последовало сокрушительное поражение от сборной Венгрии — 3:8.
Венгерская команда с великолепными мастерами Пушкашем, Кочишем, Хидегкути, вратарем Грошичем была тогда сильнейшей в Европе. Никто не сомневался, что именно она станет чемпионом мира. Но победу в конечном счете одержало тренерское искусство Зеппа Гербергера.