Впоследствии Булгарин писал о нем: «Все, что делали другие, он делал вдесятеро сильнее. Тогда в моде было молодечество, а гр. Толстой довел его до отчаянности. Он поднимался на воздушном шаре вместе с Гарнером и волонтером пустился в путешествие вокруг света вместе с Крузенштерном».
Федор Петрович Толстой вспоминал, как сам был выпущен из Морского корпуса мичманом и должен был идти в плаванье с капитан-лейтенантом Иваном Крузенштерном на «Надежде», но не пошел, уступив место Федору Ивановичу Толстому. Тогда Федор Петрович как-то вдруг нашел себя в искусстве. Занимаясь математикой с профессором Фусом, однажды он в ожидании учителя взял лежавший на столе восковой огарок, подкрасил его, как сумел, в телесный цвет и при помощи перочинного ножа и иголки сделал такую великолепную копию с камеи Наполеона, что профессор посоветовал посещать ему классы Академии художеств. Там в считанные недели Федор Петрович сделал такие успехи, что за него хлопотали перед адмиралом Чичаговым, и тот взял его к себе адъютантом, чтобы дать возможность остаться в Петербурге и продолжить образование.
Два Федора Толстых встретились глазами. Федор Иванович озорно подмигнул и осклабился. Обряд уже подходил к концу...
Федор Петрович Толстой так и остался мичманом. Он и в тридцать три года был ясноглаз и строен. У него были красивые, даже классические лоб, глаза, нос, и только нижняя челюсть, как у всех Толстых, была несколько крупновата. Решив заняться искусством основательно, он в 1804 году вышел в отставку, чем вызвал всеобщее негодование. Знатная родня соблазняла его званием камер-юнкера, любой протекцией, и на это он тогда же ответил, что «ни по душе, ни по рассудку не рожден для этой должности», что «всякий честный человек должен добиваться чинов и наград своим собственным трудом, а не случайной протекцией...».
И все, все, кто восхищался его дилетантскими работами, все отвернулись от него.
«Аристократ, имеющий титул, блестящие связи, которому все само в руки дается, и вдруг все отвергает и идет в маляры!.. Этим он бесчестит не только свою фамилию, но все дворянское сословие!» - таково было общее мнение. Перед ним закрывались двери знакомых домов, он прослыл опасным сумасбродом. Отец, Петр Андреевич, негодовал - кто-то написал ему, что его сын сошел с ума, ибо, «будучи взрослым, продолжает учиться как маленький».
В 1805 году, захваченный патриотическим порывом, Федор Петрович подал прошение о зачислении его в действующую армию, но его художественные работы попались на глаза императору Александру I, и тот сказал:
- Я обещал назначить вас в кавалергардский полк, но так как у меня много офицеров и я могу нажаловать их сколько хочу, а художников, таких, как вы, я не могу создать, то мне бы хотелось, чтобы вы, при вашем таланте к художествам, пошли по этой дороге.
Это звучало приказанием и соответствовало осознанному только потом желанию Федора Толстого, но нисколько не улучшило его положения. Его давила нужда, он расстался со всеми, нанял домик у Смоленского кладбища, где поселился со своими единственными дворовыми - мальчиком Иваном и девочкой Аксиньей, смотрел в окошко на похоронные процессии, у которых в ногах путались гуси и утки, и работал, работал... Учился, посещал классы Академии художеств, копировал античные статуи, изучал греческие вазы и барельефы, костюмы и утварь, а для заработка изготовлял модные гребешки и брошки. Отец, Петр Андреевич, совсем разорился, Федор взял к себе жить сестру Надежду Петровну и старую няню Матрену Ефремовну. Та все приговаривала:
- Ничего, батюшка, работай, учись, не заботься ни о чем: у старой няньки найдется из чего щей и кашки тебе сварить, недаром в барском доме жила. Работай себе с богом.
Она вытаскивала свои сбережения, а когда они кончились, вязала чулки и тайком продавала их.
Впрочем, уже через год Федора Петровича определили на службу в Эрмитаж с жалованьем полторы тысячи ассигнациями в год, потом подоспела работа на Монетном Дворе, добавившая восемьсот рублей серебром. Он женился по любви на Анне Дудиной.
За восковой барельеф «Триумфальный въезд Ромула в Рим» на двадцать четвертом году жизни его избрали почетным академиком. Это была громадная победа, если припомнить, как ополчались сперва на «дворянчика» профессиональные художники и профессора академии.
«Его дело, - говорили они, - полы натирать на придворных балах, а не в художники лезть, у других хлеб отбивать!.. Хочет быть и графом, и офицером, да еще и художником! Никогда никакой дворянчик не может достигнуть того, чтобы стать настоящим художником».