В «Записках Василия Антоновича Инсарского» говорится: «Граф Алексей Толстой был в то время красивый молодой человек, с прекрасными белокурыми волосами и румянцем во всю щеку. Он еще более, чем князь Барятинский, походил на красную девицу; до такой степени нежность и деликатность проникала всю его фигуру. Можно представить мое изумление, когда князь однажды сказал мне: «Вы знаете, это величайший силач!» При этом известии я не мог не улыбнуться самым недоверчивым, чтобы не сказать презрительным образом; сам принадлежа к породе сильных людей, видавший на своем веку много действительных силачей, я тотчас подумал, что граф Толстой, этот румяный и нежный юноша, силач аристократический и дивит свой кружок какими-нибудь гимнастическими штуками. Заметив мое недоверие, князь стал рассказывать многие действительные опыты силы Толстого: как он свертывал в трубку серебряные ложки, вгонял пальцем в стену гвозди, разгибал подковы. Я не знал, что и думать. Впоследствии отзывы многих других лиц положительно подтвердили, что эта нежная оболочка скрывает действительного Геркулеса».
В короткой автобиографии, составленной много позже для итальянского литературного критика Анджело де Губернатиса, Алексей Толстой писал, что к страсти к искусству и Италии «вскоре присоединилась другая, составлявшая с ней странный контраст, на первый взгляд могущий показаться противоречием: это была страсть к охоте. С двадцатого года моей жизни она стала во мне так сильна и я предавался ей с таким жаром, что отдавал ей все время, которым мог располагать. В ту пору я состоял при дворе императора Николая и вел весьма светскую жизнь, имевшую для меня известное обаяние; тем не менее я часто убегал от нее и целые недели проводил в лесу, часто с товарищем, но обычно один. Среди наших записных охотников я вскоре приобрел репутацию ловкого охотника на медведей и лосей и с головой погрузился в стихию, так же мало согласовавшуюся с моими артистическими наклонностями, как и с моим официальным положением; это увлечение не осталось без влияния на колорит моих стихотворений. Мне кажется, что ему я обязан тем, что почти все они написаны в мажорном тоне, тогда как мои соотечественники творили большею частью в минорном».
Весной 1837 года, судя по письмам, Алексей Толстой с матерью живут в Красном Роге. Охота заполняет почти все его время. Он бьет лис, косуль, зайцев. По ночам подстерегает волков.
Анна Алексеевна в это время захвачена хозяйственной деятельностью. Она переносит на другое место флигель (из всех краснорогских зданий он один только и сохранился), она самовластно вводит строгости по отношению к крестьянам, которые при сердобольном и снисходительном Перовском привыкли к безнаказанности за потравы и порубки в господских владениях. Ожесточенные новыми порядками, двадцать пять крестьян из Рославца подстерегли в Пашицком лесу главного лесника, напали на него и избили до полусмерти.
По преданиям, которые рассказывают и по сей день в селе Красный Рог, Толстого занимала не только охота. В громадном парке и сегодня еще можно найти Поляну, тесно обсаженную липами так, что они образуют круг. В середине этого круга молодой Толстой будто бы устраивал веселые празднества - девушки из села пели песни, показывали свое искусство бродячие скоморохи и плясуны. В «шалаше» - своеобразном зале на чистом воздухе, со стенами из подстриженных лип - на помосте стоял стол, за которым пировали молодой хозяин и его друзья. Рассказывают, что силач Алексей любил мериться силами с деревенскими богатырями.
В 1837 году Толстой съездил во Франкфурт-на-Майне, к месту службы. Там он впервые увиделся с Гоголем, с которым случилось забавное происшествие, о чем поведал со слов Алексея Толстого Пантелеймон Кулиш. Тот писал, что, остановись в одной из франкфуртских гостиниц, Гоголь «вздумал ехать куда-то далее и, чтобы не встретить остановки по случаю отправки веющей, велел накануне отъезда гаускнехту (то, что у нас в трактирах половой), уложить все вещи в чемодан, когда еще он будет спать, и отправить их туда-то. Утром, на другой день после этого распоряжения, посетил Гоголя граф А.К. Т(олстой), и Гоголь принял своего гостя в самом странном наряде - в простыне и одеяле. Гаускнехт исполнил приказание поэта с таким усердием, что не оставил ему даже во что одеться. Но Гоголь, кажется, был доволен своим положением и целый день принимал гостей в своей пестрой мантии, до тех пор пока знакомые собрали для него полный костюм и дали ему возможность уехать из Франкфурта».