Григорий Орлов вскоре узнал, что у него есть соперник. Он понял, что власть над Екатериной ускользнула из его рук и что сам он в ее власти, как простой подданный императрицы. Орлов сразу понял, что, уехав из Петербурга, он попал в ловушку, устроенную для него Паниным, который решил во что бы то ни стало вытеснить фаворита.
Праздник был прерван; Орлов вскочил в экипаж и помчался в Петербург, до которого было больше полутора тысяч километров! День и ночь, без отдыха, сменяя лошадей, мчался граф. Не доезжая нескольких десятков верст до столицы, императорское приказание заставило экипаж остановиться: путешественники, приезжающие с юга, где еще свирепствовала чума, должны были пройти карантин. К этому приказанию были приложены инструкции и любезные предложения отбыть карантин в гатчинском дворце на речке Ижора.
Григорий сохранил внешнее спокойствие и не показал виду, что расстроен. Екатерина боялась сначала какой-нибудь отчаянной выходки с его стороны, и она вздохнула с облегчением, узнав, что экс-фаворит исполнил ее волю. Но императрица желала, чтобы он отрекся от всех занимаемых им должностей. Она начинала устраивать дело осторожно, посылая к Орлову то Бецкого, то Олсуфьева, то Чернышева, удваивая любезности и заманчивые предложения.
Орлов поселился в Гатчине и понизил тон. Он посылал письмо за письмом своим друзьям: Бецкому, Олсуфьеву и Чернышеву, умоляя примирить его с императрицей и обещая вознаградить их по-царски за их услугу. Но Екатерина никогда не меняла своих решений относительно фаворитов.
Французский уполномоченный в делах 1 декабря 1772 года писал: «Императрица удостоверилась, что на жалованье у Григория Орлова состоят больше тысячи гвардейских солдат и что он приобрел расположение духовенства… У него, говорят, десять миллионов рублей капитала; поэтому императрица боится его и предпочитает уладить дело мирно».
Впрочем, более нежное чувство примешивалось у Екатерины к этому банальному опасению; а красавец Орлов со своей стороны делал все, чтобы вызвать и поддержать оба чувства… когда императрица потребовала от него, чтобы он возвратил ей ее портрет, осыпанный бриллиантами, который уже не должен был более носить на груди, он прислал бриллианты и оставил портрет, говоря, что передаст его не иначе как в те руки, которые вручили его ему.
Угрозы Екатерины не пугали его. Когда она задумала заключить его в Ропше, он говорил, что будет очень рад принять ее там как хозяин. Императрица наконец прекратила затянувшиеся переговоры указом, объявляющим Орлова отрешенным от занимаемых им должностей. Екатерина II писала: «Я многим обязана семье Орловых; я их осыпала богатствами и почестями; я всегда буду им покровительствовать, и они могут быть мне полезны; но мое решение неизменно: я терпела одиннадцать лет; теперь я хочу жить как мне вздумается и вполне независимо. Что касается князя – то он может делать вполне, что ему угодно: он волен путешествовать или оставаться в империи, пить, охотиться, заводить себе любовниц… Поведет он себя хорошо – честь ему и слава; поведет плохо – ему же стыд».
Кончилось тем, что он приехал в Петербург. Орлов явился во всем блеске, указом от 4 октября 1772 года ему пожалован был титул князя. Он приехал ко двору и присутствовал, как в былые дни, при игре в карты императрицы. Он был весел, оживлен, остроумен. Екатерина обращалась к нему с вопросами, и он отвечал без малейшего стеснения, говорил о посторонних вещах. На другое утро он разъезжал по городу, разговаривал со всеми, кого встречал, о перемене в своей судьбе, шутя над своим падением, так что собеседникам становилось неловко. Он явился с визитом к великому князю. Вечером посетил притоны разврата и открыто кутил с публичными женщинами.
Сабатье, рисуя в 1772 году портрет фаворита, писал: «Его неудержимая страсть к удовольствиям, безумное увлечение женщинами, отсутствие какого-либо сдерживающего начала, моментально исполнение малейших желаний – все это уничтожило задатки, которые могли бы развиться при ином воспитании, встречаемых трудностях и известном честолюбии».
А один из хорошо осведомленных чиновников замечал: «С утра до вечера он с фрейлинами, оставшимися во дворце (императрица в Царском). Обедает с ними и ужинает. Сервировка неряшливая, кушанье отвратительное, а князю между тем очень нравится… В нравственном отношении не лучше. Он забавляется шалостями; душа у него такая же, как вкусы, и для него все хорошо, он любит так же, как ест, и ему все равно, что калмычка или финка, что первая придворная красавица. Настоящий бурлак».