1555 год принес кардиналу Феррары неудачу. Состоявшийся в этом году конклав избрал римским папой не его, а 79-летнего, но полного энергии кардинала Джанпьетро Караффу — Павла IV. Расстроенный и разочарованный герцог д'Эсте возвращается в Тиволи, но вновь избранный понтифик лишает в сентябре того же года кардинала Феррары его владений и отправляет в изгнание в Ломбардию, поставив ему в вину подкуп участников конклава. Толькоприход на папский престол Пия IV вернет кардиналу д'Эсте Тиволи.
Возвратившись в свою резиденцию, кардинал решает перестроить старый дворец и монастырь в современную для того времени виллу и разбить вокруг нее парки. Серьезный любитель археологии, поклонник античных авторов, Ипполито II д'Эсте после бурных перипетий своей жизни все время посвящает интеллектуальному досугу: отстраивает виллу, разбивает парк и устраивает фонтаны. Именно парку-саду по старой феррарской традиции уделяет он особенно пристальное внимание, и потому впоследствии именно парк и его фонтаны станут главной особенностью резиденции в Тиволи.
Перестройка дворца, создание виллы и сада продолжались 22 года, не прерываясь и в отсутствие кардинала. Движимый честолюбивыми замыслами занять папский престол, Ипполито II д'Эсте претерпел несколько тягостных неудач, и разочарования в своих тщетных попытках в еще большей мере возобновляли его интерес к собственному владению в Тиволи.
В 1560-е годы вилла в основном была закончена: проведены необходимые земляные и декоративные работы, создана инженерная система, обеспечивающая водой фонтаны. В это время стали развиваться науки, но при этом была еще жива память о древних преданиях и мифах. И в волшебных садах Тиволи архитектор Пирро Лигорио хотел воплотить легендарное прошлое, полное чудес и великолепия.
В течение четырех столетий после своего возведения Тиволи считался одним из самых знаменитых садов в странах западного мира. К сожалению, до настоящего времени мало что сохранилось, но и оставшееся дает представление о мечте архитектора — прекрасноромантичном мире.
Когда сад только был создан и деревья еще не выросли такими высокими, как сейчас, можно было во всем великолепии видеть потрясающий проект Пирро Лигорио. Сад в Тиволи задумывался как огромный образ Вселенной, где раздавались бы отголоски древних чудес. В самом начале сада с горы низвергался водопад — олицетворение библейского потопа, а сама гора была выше, чем «висячие сады» древнего Вавилона. Фонтан Нептуна олицетворял море, а другой фонтан был оформлен в виде храма Артемиды в Эфесе.
Пирро Лигорио считал богиню Артемиду источником жизни на земле и сравнивал ее с Девой Марией. Поместив в саду Тиволи Артемиду вдали от храма, архитектор возродил ее как великую богиню — мать-природу, питающую все живое на земле.
Вилла в Тиволи, как и виллы других городков, была сориентирована на Рим, и это не было только особенностью их географического положения. В общем архитектурном замысле важную роль играла лоджия, с двух сторон окаймленная лестницами. Нижний ярус лоджии был оформлен в виде грота, в котором помещался «фонтан Леды». Лестницы вели на второй этаж лоджии, где находился проход в парадный зал первого этажа дворца. Верхняя часть лоджии представляла собой открытый балкон, откуда открывались наиболее красивые виды на храм Геркулеса, возвышающиеся поблизости руины виллы К. Варра, на раскинувшуюся чуть в отдалении виллу императора Адриана и на величественный Рим.
В стороне от центральной лоджии в 1569 году началось возведение другой монументальной лоджии, под тремя грандиозными арками которой был расположен триклиний.
Над созданием ансамбля загородной виллы в Тиволи, проведением акведуков, над разбивкой парка, устройством механики фонтанов и оформлением интерьеров дворца трудилось большое количество мастеров. Начав свою работу с раскопок виллы Адриана, многие античные произведения они перенесли потом с виллы императора на виллу кардинала, украсив ее интерьеры и парк.
Симметричная планировка парка включала девять продольных и тринадцать поперечных осей. Через парадный въезд посетители попадали в центральную аллею, после пересечения первой поперечной оси они оказывались в той части парка, откуда начинался пока еще относительно пологий подъем холма, ведущий к самой резиденции. На пути к ней их встречал «фонтан Дракона», получивший свое название от украшавшей его скульптурной группы. Эта группа состояла из многоглавого дракона, охраняющего сад Гесперид, и статуи Геркулеса. Существующий ныне фонтан был переделан к приезду на виллу Тиволи папы Григория XIII в сентябре 1572 года.