После этих событий Гильдебранд покинул Рим и вступил в знаменитый Клюнийский монастырь, считавшийся сердцем христианского мира. Именно здесь у него выработались те принципы, которых он придерживался в дальнейшем. Эти принципы изложены им в знаменитом «Папском диктате»: «Только римский первосвященник может быть называем вселенским. Его имя едино в мире. Только он может низлагать епископов и вновь возвращать им сан. Только он может издавать новые законы, соединять или делить епархии. Без его повеления никакой собор не может называться всеобщим. Он не можетбыть судим никем. Никто не может осудить того, кто апеллирует на приговор к апостольскому престолу. Важные дела каждой церкви должны подлежать его решению. Римская церковь никогда не ошибалась и никогда не впадет в ошибку. Римский первосвященник имеет право низлагать императоров. Он может освобождать подданных от клятвы верности неправедным государям».
В середине XI века престол св. Петра занимали исключительно немцы, избранные по рекомендации императора. В 1048 году Генрих III назначил новым папой своего советника епископа Тульского Бруна, принявшего имя Льва IX. Несмотря на близость с императорским домом, новый папа был горячим сторонником радикальной церковной реформы.
В феврале 1049 года Гильдебранд вернулся в Рим, где сделался одним из советников Льва IX. Так началась его политическая деятельность.
Гильдебранд был небольшого роста, довольно тучным и коротконогим. Его отличали непреклонная воля и несомненный талант дипломата. Стремясь к абсолютной власти, он не допускал даже мысли, что может злоупотребить ею. Гильдебранд славился своим красноречием. В то же время он умел искусно разбираться в самой сложной политической обстановке.
Сохранилось немного сведений о деятельности Гильдебранда во время правления Льва IX. Он служил настоятелем монастыря Св. Павла. В 1054 году в качестве легата был направлен во Францию, где в Туре собрал синод для разрешения спора между Ланфранком и Беренгаром, архидьяконом Анжерским.
После смерти Льва IX в апреле 1054 года Гильдебранд ездил в Германию, где император выбрал нового папу — эйхштадтского епископа, принявшего имя Виктора II.
В октябре 1056 года умер могущественный Генрих III, в июне следующего года ушел из жизни Виктор II. Законному наследнику императорского престола Генриху IV было всего шесть лет, он находился под опекой императрицы Агнесы и архиепископа Кельнского Ганнона. Смерть Генриха III послужила сигналом к феодальным смутам в Священной Римской империи. Правительнице удалось спасти франконский дом только благодаря многочисленным уступкам, приведшим к ограничению императорской власти.
Гильдебранд в это смутное время предпринимал энергичные шаги для укрепления папской власти.
В марте 1058 года итальянская знать и симонистское духовенство провели в папы епископа Веллетри, принявшего имя Бенедикта X. Против этого решения выступили реформисты во главе с Гильдебрандом.
Ему удалось заручиться поддержкой окружения императора, примирив на некоторое время императрицу Агнесу и восставшего Готфрида Бородатого, герцога Лотарингии. Он возводит на папский престол епископа Флорентийского под именем Николая II. Сам Гильдебранд становится архидьяконом Римской церкви. Вступившие в союз Готфрид, имперский канцлер Гвиберт и Гильдебранд пытаются сместить Бенедикта X и утвердить в Риме Николая П.
Это была борьба, поставившая на карту серьезные интересы: папе и императору, объединившимся перед лицом общего врага, важно было вырвать из рук крупнейших феодалов фактическую власть над огромной церковной империей.
Гильдебранд блестяще провел дипломатическую подготовку к грядущему сражению. В Италии он заручился поддержкой маркизата Тосканы. Затем отправился в Южную Италию, где в это время утвердились потомки скандинавов — норманны, и в Капуе от лица Римского Папы Николая II заключил союз с норманнским графом Ричардом. В 1059 году граф Ричард и Роберт Гюискар, герцог Апулии, главный предводитель норманнских завоевателей, признали себя папскими вассалами: они обязались платить папе ежегодную дань, оказывать военную помощь, защищать новый порядок папских выборов. На севере Италии Гильдебранду удалось подчинить папе сильного и независимого архиепископа Миланского. Он поддержал городское движение патаренов, направленное против крупных феодалов, и ставленника императора — миланского архиепископа.