На следующее лето праздником начался новый этап работы – рыли котлован под дворцовый фундамент, который заложили год спустя в еще более торжественной обстановке.
Но годы шли, а выше фундамента стройка не поднималась – недоставало средств. Весной 1775 года императрица приказала засыпать котлован, а значит, прекратить работу. Руководить засыпкой котлована оскорбленный Баженов отказался: «Оставляю тому, кто за благо избран будет».
Тем временем он строил за городом, на Ходынском поле, деревянные павильоны для празднования победы над турками. Причудливые здания неклассической, условно-восточной архитектуры символизируют Таганрог, Керчь, Азов и другие города, отошедшие после победы к России.
Нарядные необычные постройки Екатерине понравились. Вот такой она захотела видеть и свою новую усадьбу – только что купленное под Москвой Царицыно. На склоне холма, спускающегося к большому пруду, Баженов расположил, казалось бы, в вольном порядке, множество сравнительно небольших строений из красного кирпича. Украсить их он хотел цветными изразцами, на манер старинных московских зданий. Но императрица эту идею отвергла, и тогда красный кирпич был эффектно оттенен вставками из резного белого камня.
Чувствовались в облике Царицына какая-то искусственная старина условное, почти игрушечное средневековье. В те времена всю средневековую архитектуру, не очень еще различая эпохи и страны, именовали «готической». Классицисты считали ее «неправильной», искаженной невежеством прежних строителей, но она все же манила Баженова. Правда, при возведении Царицына он не придерживался какого-то определенного стиля: стрельчатые окна западноевропейской готики он свободно сочетал с узорчатой кирпичной кладкой русских зданий XVII века, использовал в белокаменной резьбе государственную символику – здесь и вензель Екатерины, и двуглавый государственный орел.
Десять лет строил Баженов Царицыно. Каждой весной он перебирался туда с семьей из недавно купленного городского дома, чтобы быть постоянно при работах. Здесь, в отличие от Кремля, он все делал сам: распоряжался финансами, заранее покупал материалы, нанимал рабочих.
Стройка разрасталась, а деньги поступали из Петербурга все медленнее. Василий Иванович то и дело оказывался виноватым. К тому же замучили долги, судебные тяжбы. Он устал, в сорок лет чувствовал себя стариком. В сыром Царицыно болели дети, умер младший сын…
Летом 1785 года императрица, наконец, приехала и посетила почти готовую усадьбу, знакомую ей лишь по чертежам. Нарядные домики показались ей маленькими и тесными – на бумаге все выглядело внушительнее. Царицыно она приказала перестроить и передала строительство Казакову.
Дворец в Царицыно был разрушен не сразу. М.М. Измайлов пытался было найти выход из создавшегося положения, хоть как-то помочь Баженову. Переживал за своего друга и Казаков. Коллеги договорились: Баженов без особого на то дозволения сделает новый вариант дворца и представит свой ранее, чем это сделает Казаков. Но ничего из этого не вышло, опять труд был потрачен зря. Екатерина отвергла работу Баженова, даже как следует не познакомившись с нею. В феврале 1786 года пришло распоряжение «о разборке в селе Царицыно построенного главного корпуса до основания и о производстве потом (нового здания) по вновь конфирмованному учиненному архитектором Казаковым плану».
Казаков в своем варианте дворца пытался по возможности сохранить избранный Баженовым стиль старорусской архитектуры. Но ему также не повезло. Дворец был спроектирован трехэтажным, с акцентом на центральную часть здания. Однако в ходе строительства пришлось многое переделать, так как ассигнования постоянно урезывались. В результате получилась большая разница между проектом и осуществленным зданием.
Василий Иванович оказался практически отстраненным от царицынского строительства. Он получил годовой отпуск по болезни: ухудшилось зрение, пошаливали сердце и нервы. В декабре 1786 года Баженов просил графа А.А. Безбородко, первого секретаря императрицы по принятию прошений продлить отпуск с сохранением жалованья, чтобы окончательно поправить здоровье. В случае отказа Баженов соглашался и на отставку, но «с пенсиею, как и все верноподданные е. и. в. пользуются, ибо, как небезызвестно в. с., не имею у себя столько содержания, сколько для большой семьи моей, а притом и для оплаты долгов, потребно». Прошение удовлетворили.