Первые известные нам Толстые, Иван Иванович и Василий Иванович, во времена царя Ивана Васильевича были воеводами. Иван Иванович — на реке Крапиве, а Василий Иванович — в Москве.
Внук Ивана Ивановича, Василий Иванович, был воеводой в Чернигове и во время мятежа казацкого гетмана Брюховецкого спас город от изменников, за что был пожалован в думские дворяне.
А внук Василия Ивановича, Петр Андреевич, стал родоначальником графского поколения Толстых.
Государственная деятельность Петра Андреевича началась при Петре I, который в 1697 году отправил Толстого в заграничное путешествие для изучения морского и военного дела.
Во время пути Петр Андреевич вел записи, озаглавив их «Путешествие стольника Петра Толстого по Европе в силу царского указа от 1705 г.».
Будучи в Италии, Толстой выучил итальянский язык и перевел «Метаморфозы» Овидия с латинского на русский. Потом Петр поручил своему тезке привезти из Неаполя скрывавшегося там царевича Алексея Петровича. Петр Толстой выполнил это поручение. Царь остался доволен и ввел верного Толстого в состав суда над Алексеем Петровичем. Затем царь сделал его действительным тайным советником, наградил орденом Андрея Первозванного и деревнями.
По случаю коронации царицы Екатерины I Петр Андреевич Толстой одним из первых в России был возведен в графское достоинство, а после смерти Петра I он был назначен членом «Верховного тайного совета».
Однако в конце царствования Екатерины I Толстой был обвинен в заговоре против Петра II и приговорен к смертной казни, но Екатерина заменила казнь ссылкой в Соловецкий монастырь «с лишением чинов и богатств». Петр Андреевич умер в монастырской тюрьме на Соловках в 1729 году в возрасте 84 лет.
Часть конфискованных имений потомкам Петра Андреевича вернула в 1742 году императрица Елизавета Петровна, а графский титул им вернули лишь в 1760 году.
У правнука Петра Андреевича, Ильи Андреевича, в семье был всего один сын, Николай Ильич, и родители не хотели, чтобы он подвергал свою жизнь опасности, но вопреки их воле Николай Ильич в семнадцать лет поступил на военную службу и принимал участие в войне 1812 года.
Выйдя в отставку, он в 1822 году, по желанию родителей, женился на княжне Марии Николаевне Волконской, которая была старше мужа, зато богата.
Николай Ильич был блестящим молодым человеком с аристократическими манерами и широкой натурой, но в наследство ему досталось расстроенное состояние, которое и пришлось поправлять с помощью брака. Впрочем, будучи человеком добрым и веселым, жену Толстой не обижал.
Супруги Толстые были людьми образованными, много читали. Мария Николаевна в совершенстве владела многими языками — французским, немецким, английским, итальянским и — что было необычно в то время — русским.
Мария Николаевна много внимания уделяла детям: четырем сыновьям и дочери, но вскоре после рождения последней она умерла. Ненадолго пережил жену и Николай Ильич: он скончался в 1837 году. Опекуншей малолетних детей стала одна из сестер Николая Ильича, жившая в Казани.
Из его детей самым известным стал Лев, родившийся в 1828 году. В 1844 году Лев Николаевич поступил в университет, где занимался сначала на восточном, а потом на юридическом факультете. Но занятия в университете не удовлетворяли его тяги к знаниям, Толстой оставил Казань и переехал в Ясную Поляну — имение матери, доставшееся ему после раздела имущества родителей, где самостоятельно изучал историю.
Толстой знал многие языки: свободно говорил на английском, французском, немецком, знал латинский, греческий, украинский, татарский, церковнославянский, читал книги на итальянском, польском, сербском и чешском языках, кроме того, он изучал турецкий, голландский и болгарский языки.
В 1850 году Лев Николаевич переехал в Москву и в конце того же года начал свою писательскую деятельность. Уже первые его произведения «Детство» и «Отрочество» показали, что в литературу пришел мастер.
Вскоре Льву Николаевичу захотелось посмотреть на войну своими глазами, и он отправился на Кавказ, где служил его брат Николай Николаевич. Лев Николаевич поступил в армию юнкером, потом сдал экзамен на младший офицерский чин. Во время Крымской войны он служил в Дунайской армии, воевавшей с турками, принимал участие в боевых действиях в Севастополе, впечатления свои он описал в рассказах «Набег», «Рубка леса», повести «Казаки» и конечно в «Севастопольских рассказах». Командуя батареей на 4-м бастионе, Толстой проявил редкое бесстрашие. Он был награжден орденом Анны с надписью «За храбрость», медалями «За защиту Севастополя», «В память войны 1853–1856 гг.». Несколько раз Льва Толстого представляли к награде боевым Георгиевским крестом, но начальство отклоняло представления, т. к. Толстой находился на плохом счету из-за своего свободомыслия. Лев Николаевич неоднократно предлагал различные усовершенствования в армии: проекты о перереформировании артиллерийских батарей и штуцерных батальонов, был у него проект и о реформировании всей русской армии, но этот проект не был закончен.