После училища Леонов работал в Театре Дзержинского, а с 1948-го – в Московском драматическом театре имени К.С. Станиславского. Как актер массовки он получал мизерную зарплату, что приводило его в отчаяние. «В театре, когда я еще на сцену не выходил, ничего не играл, бегал в массовках, тоже помню щемящее чувство тоски, неуверенности».
И в кино он начинал с массовых сцен. В 1951 году Леонов появился в эпизодической роли кока в фильме Немоляева «Морской охотник». Прошло еще три года, прежде чем Леонов получил две запоминающиеся роли: в картинах Хейфица «Дело Румянцева» и Столпера «Дорога». «Я никогда не забуду доброе лицо, добрые глаза Виталия Доронина, с которым я снимался в фильме „Дорога“, – вспоминал Леонов. – Я, наверное, чего-то не умел, но там я из себя выходил, фантазировал, а Доронин поддерживал, и действительно, иногда снимали, как я предлагал. Там подобралась удивительная компания, что для меня, молодого актера, для мальчишки, имело большое значение: на свете есть такие хорошие, такие доброжелательные люди… И в „Деле Румянцева“ была какая-то особая, дружеская атмосфера, когда хотелось сделать больше, чем ты умеешь… Обе роли были сложными и интересными, так как на первых порах в кинематографе, да и в театре, меня признавали только как лирико-комедийного актера и роли предлагали похожие одна на другую».
В середине 1950-х годов в Театр имени Станиславского на должность главного режиссера пришел Михаил Яншин. Но в жизни Леонова ничего не менялось. Он уже подумывал уйти из театра, как Яншин неожиданно назначил его на роль Лариосика в спектакле «Дни Турбиных» М. Булгакова. В процессе работе над этой ролью молодой актер пришел к выводу, что искусство простоты – самое трудное искусство. «Я тогда понял, – рассказывал Леонов, – что Яншин все пропускал через правду». Тридцать раз на репетиции он выходил, чтобы сказать: «Вот я приехал», – но режиссер был все недоволен…
«Есть роли, вернее характеры, которые что-то решают для актера на всю жизнь, – продолжал Леонов. – Таким для меня был и остается этот смешной кузен из Житомира. Вы себе не можете представить, как дорого он мне дался, хотя я сыграл его едва ли не тысячу раз, но каждый раз словно дебют. Может быть, так и надо – ставить под сомнение себя, свои возможности, каждый раз начинать с нуля и плакать по ночам от горя, что бездарен, идти на спектакль, волноваться и никогда ни в чем не быть уверенным».
В 1957 году во время гастролей в Свердловске (Екатеринбурге) Леонов познакомился со своей будущей женой. Ванда Стоилова училась в музыкально-педагогическом училище. Несколько месяцев они переписывались, прежде чем девушка переехала в Москву, где поступила на театроведческое отделение ГИТИСа. В 1959 году у Леоновых родился сын Андрей.
В это время глава семьи находился на съемках фильма «Полосатый рейс» в Ленинграде. В родном театре он не имел дублеров и почти месяц курсировал по маршруту Москва – Ленинград. Сыграв в картине режиссера Фетина незадачливого «укротителя» буфетчика Шулейкина, Леонов сразу стал всенародным любимцем.
«До „Полосатого рейса“ Леонов сыграл немало комедийных ролей, – пишет биограф Нинель Исмаилова, – и все его герои были заразительно смешны: и наивный ленивец милиционер Сердюков в фильме „Улица полна неожиданностей“, и придурковатый Кристи в спектакле „Ученик дьявола“, и нелепый в своем энтузиазме завхоз в фильме „Не имей сто рублей“, и уморительный Федя в „Повести о молодоженах“, и Саша Смирнов в фильме „Произведение искусства“. Леоновские персонажи, сценические и экранные, вызывали смех в зрительном зале при первом своем появлении. И каждая из этих работ открывала какую-то грань комедийного дарования артиста. Но „Полосатый рейс“ вобрал все разнообразие комедийных красок; здесь мы впервые увидели, что Леонов – буф, эксцентрик, и при этом гротеск он умеет соединять с правдой характера».
После «Полосатого рейса» у Леонова появляется масса заманчивых предложений. В 1962 году его даже пригласили играть в оперетте «Черемушки», экранизации произведения Д. Шостаковича.
Леонов уже считался актером комедии, когда режиссер Фетин пригласил его на роль донского казака Якова Шибалка в экранизации рассказов М. Шолохова «Шибалково семя» и «Родинка». Леонов сначала не соглашался, да и худсовет «Ленфильма» был против его кандидатуры, но Фетин пошел на риск и победил. Фильм «Донская повесть» (1964) на Международном кинофестивале в Нью-Дели получил почетный приз, а Леонов был удостоен приза «Серебряный павлин» как лучший исполнитель мужской роли.