В конце концов, публикуемая им резкая критика королевского двора и политики Людовика XV привела к тому, что маркиз де Мирабо был арестован и заключен в Венсенский замок. Популярность его сразу же возросла, пробудив «новый виток» интереса к его творчеству. При содействии маркизы Помпадур, женщины умной и влиятельной, маркиз де Мирабо был освобожден из заключения (зачем же создавать ему популярность), с предписанием проживать безвыездно в своем поместье, что и было им исполнено.
Ненависть к жене и детям довела маркиза до того, что он выхлопотал у правительства специальные указы, на основании которых его жена и дочь подверглись монастырскому, а сыновья тюремному заключениям. (В то время была такая практика – муж, жена, дети засаживали своих родных в тюрьмы или монастыри «ради их исправления», но с целью избавиться от них и завладеть имуществом.) Но, даже находясь в монастыре, маркиза продолжала борьбу с супругом, и в 1781 году ей удалось не только возобновить процесс против маркиза Мирабо, но и выиграть его.
Разбитый нравственно, разоренный процессом, тот удалился в Аржантель, где спустя несколько лет скончался.
Вражда между супругами Мирабо не помешала им обзавестись многочисленным потомством. Детей у супругов было 11. Оноре Габриель был первенцем. Он родился болезненным, с искривленной ногой, а в возрасте трех лет он чуть не умер от оспы. Но от природы он был одарен многими способностями, что отмечали его бесчисленные учителя, с которыми Виктор де Мирабо быстро расставался. (В дальнейшем Оноре Габриель говорил, вспоминая детство, что он так и не получил приличного систематического образования.) Следы от оспы на его лице компенсировались красивыми глазами и необыкновенной подвижностью и выразительностью лица. Он стремился к знаниям, быстро усваивал новое и упорно трудился, что приводило в восторг его наставников. Совершенно иначе относился к нему родной отец. Он характеризовал сына как «чудовище в физическом и нравственном отношении». Непокорный нрав сына вызывал у него ненависть и приводил к столкновениям между ними.
В целях воспитания мальчик был помещен в военную школу под именем Пьера Бюффиера. Маркиз считал, что имя Мирабо следует еще заслужить, и избрал для сына в качестве имени название одного из поместий, принадлежащего родственникам жены. Как старший из сыновей Оноре должен был стать военным и служить шпагой королю. Он учился в Версале, а затем, по настоянию отца, которому не понравилось доброе отношение к сыну преподавателя военного дела капитана Сигре, был переведен в закрытую школу в Париже. Руководил школой аббат Шокар, слывшей человеком «твердой руки». Здесь Оноре быстро завоевал авторитет среди воспитанников, а строгость аббата постоянно наталкивалась на строптивый норов юноши. В школе Оноре оставался до 18 лет, а затем начал служить непосредственно в армии.
Местом службы молодого Оноре стал маленький гарнизон городка Сента – не самое завидное место, выбранное опять-таки по решению Мирабо-старшего. Служба оказалась нетрудной, хотя Оноре неоднократно проводил ее на гауптвахте, отправленный туда отбывать наказание начальником гарнизона Ламбером. Мирабо-младший прекрасно проводил время в кругу образованных дворян. Ночные кутежи, карточная игра и женщины (а он имел у них успех) требовали денег, в которых отец с каждым годом все больше ограничивал сына. Выход нашелся – взять деньги в долг, да и кто сможет отказать сыну самого богатого землевладельца Прованса. Но вскоре легкой жизни пришел конец. Связь с дочерью местного жандармского чина вынудила начальника гарнизона принять к Оноре строгие меры, но к тому времени девица успела уже рассказать всем, что вскоре станет графиней де Мирабо. Оноре не собирался на ней жениться, да и выплатить долги он не мог, поэтому он просто тайно покинул гарнизон Сента и отправился в Париж к герцогу Ниверье, близко знавшему отца Оноре.
Попытка герцога добиться у Мирабо-старшего для сына разрешения на перевод его в другой гарнизон закончилась тем, что отец выхлопотал специальное распоряжение от имени короля о заключении сына в крепость на острове Ре. Сын виноват в самовольном оставлении прежнего места службы и должен быть за это наказан.
Крепость на Ре была местом заключения государственных преступников, поэтому губернатор острова был поражен, увидев вместо опасного злодея приятного молодого человека, который быстро завоевал симпатию у всех. Благодаря этому Оноре пользовался свободой передвижения на острове и даже посещал близлежащий город Ла-Рошель. Узнав о готовящейся военной экспедиции на Корсику, Оноре принимает предложение поменять место заключение на Ре на место добровольного участника военной экспедиции и в звании лейтенанта зачисляется в лотарингский полк. Так узник снова стал офицером королевской службы.