Когда Корф отдаст вам (Миллеру. — Ред.)младенца четырехлетнего, то оного посадить в коляску и самому с ним сесть и одного служителя своего или солдата иметь в коляске для бережения и содержания оного; именем его называть Григорий… а что вы имеете с собою какого-то младенца, того никому не объявлять, иметь всегда коляску запертую.
В августе всю семью повезли к Белому морю, но осенью невозможно было добраться до Соловков. Барон Корф стал уверять императрицу, что с островов легко бежать, так как летом туда заходят шведские суда. М. В. Ломоносов посоветовал отправить Иоанна Антоновича в Холмогоры, где у него было много друзей, с помощью которых он надеялся улучшить положение ссыльного ребенка. Елизавета Петровна согласилась, и сердобольный барон Корф сам повез Иоанна Антоновича в Холмогоры, позаботившись, чтобы ребенка тепло одели и захватили большой запас провизии. Вместе со своим питомцем ехала и верная Юлиана Менгден, заменившая ему мать. Принца Антона и Анну Леопольдовну отправили через два дня в сопровождении майора Миллера.
В Холмогорах никто не знал, что к ним везут юного императора; знали только, что к ним едет какой-то знатный вельможа с сыном. По личному распоряжению императрицы нужно скрыть сына одного высокопоставленного лица, так как мать несколько раз пыталась извести своего ребенка, поэтому мальчик на время останется в архиерейском доме на попечении игумена. Кроме того, приказано было приготовить келью, окна которой выходили бы на скотный двор, — для "двух сущеглупых, кои там будут иметь пребывание до кончины".
В Холмогорах пленникам жилось несравненно лучше благодаря заботам Корфа. Иоанн Антонович ни в чем не нуждался, рядом с ним находилась верная фрейлина, пища была отличной, у ребенка даже появились игрушки… Часовые дежурили у наружной двери и около окон, но в комнаты царственного узника входить не смели. Принцу Антону и Анне Леопольдовне после ужасов Раненбурга жизнь в Холмогорах казалась настолько прекрасной, что они даже не вспоминали об Иоанне. Правда, на то были и другие причины. Принц после раненбургского "лечения" стал равнодушен почти ко всему, что заставляло действовать, часто бредил о своих дворянах в Брауншвейге и т. д. Анна Леопольдовна со дня на день ждала ребенка, страдала духовно и физически и целыми днями плакала о невозвратном прошлом.
Иоанн рос, развивался физически, но перенесенные потрясения наложили на него неизгладимый отпечаток. Воспитанием и духовным развитием мальчика никто не занимался, родных он не видел и почти забыл об их существовании. Подле себя Иоанн Антонович видел только майора Миллера, и оба — царственный узник и тюремщик — настолько свыклись друг с другом, что стали схожи между собой. Как-то встретившись со своим непосредственным начальником Вындомским, майор Миллер во время служебного рапорта вдруг начал хохотать и делать ему "козу" из двух пальцев… В другой раз он встретил настоятеля монастыря, почтенного старца, и так натурально "забодал" его, что тот упал в траву.
О странностях майора донесли в Санкт-Петербург, но там решили не назначать к Иоанну Антоновичу другого тюремщика. Императрица приказала отправить в Холмогоры жену Миллера — добродушную и богобоязненную немку, которая все эти годы ничего не знала о своем супруге. Майор очень обрадовался приезду жены, повеселел и почти прекратил свои чудачества. Изменился и Иоанн Антонович. Прошел год, и его нельзя было узнать: почти исчезли признаки душевной болезни, сердобольная фрау Мюллер выучила его читать и писать, он знал молитвы… Вындомский замечал в узнике изменения, но не придавал им значения: немку поселили в монастыре по приказанию императрицы, следовательно, лично он не отвечает за последствия.
Иоанн Антонович оправился настолько, что стал серьезно интересоваться своим положением. В это время ему было уже 15 лет, добрая майорша нашла возможность завязать отношения с принцем Антоном. Через нее отец с сыном узнали, что живут рядом, и стали переписываться, однако благополучие это длилось недолго.
В 1756 году был схвачен тобольский купец-раскольник И. Зубарев. Сначала на допросе в Тайной канцелярии, а потом на исповеди он показал, что прусский король Фридрих произвел его в полковники и дал поручение — ехать в Архангельск и там подготовить побег Иоанна Антоновича: тайно похитить принца и перевезти на корабль, который специально для этого будет послан на Белое море. После признаний И. Зубарева императрица послала в Холмогоры гвардии капитана Савина, который в 1756 году доставил Иоанна Антоновича в Шлиссельбургскую крепость. Здесь его поместили в большом каземате, единственная дверь которого сообщалась с квартирой смотрителя. Тюремщики получили строгие инструкции: именовать Иоанна "безымянным колодником" и самому ему не говорить, где он находится. Кроме двух офицеров и сержанта, никто не должен был видеть арестанта, а те не должны были никому сообщать, каков узник…