Он пришел в кино в те годы, когда оно переживало своеобразный бум: советский кинематограф просыпался после долгой спячки, появлялись новые, необычные фильмы, а на первый план выходили молодые режиссеры с нестандартным видением мира. Тарковский был одним из них. В 1960 г., окончив с отличием институт, он вместе с Андреем Кончаловским поставил дипломный фильм «Каток и скрипка». Эта небольшая, почти идиллическая (на фоне его поздних работ) картина, продолжительностью всего 46 минут, во многом уже несет на себе черты яркой индивидуальности Тарковского и его неповторимого творческого поиска.
В 1962 г. Тарковский выступил со своим первым полнометражным фильмом «Иванове детство», который сразу был отмечен советскими кинокритиками и создал Тарковскому устойчивое международное имя. Сценарий (по рассказу Богомолова), повествующий о юных разведчиках, засылаемых в немецкий тыл, привлек Тарковского своей острой психологической драмой — уродливым сдвигом естественного мира детства в страшный, безжалостный мир войны. Главным в своем фильме Тарковский сделал не подвиги юного разведчика (они его не интересовали), а трагическое, противоестественное повзросление маленького разведчика Ивана. (Поэтому с самого начала Тарковский предложил свое название — вместо «Иван» «Иванове детство».) Когда фильм вышел на экраны, он имел большой резонанс и никого из зрителей не оставлял равнодушным. Впечатление было настолько сильным, что и по истечении нескольких лет дискуссии об «Иванове детстве» не прекращались.
Показанный на Венецианском фестивале, фильм получил «Золотого льва».
Свой третий фильм Тарковский посвятил великому русскому иконописцу Андрею Рублеву. Летописи сохранили о нем достаточно скудные сведения, из которых невозможно сложить узор личной судьбы. Режиссер имел большую свободу для домысла, тем более что время, когда жил Рублев, было бурным и интересным. Но Тарковский и его соавтор по сценарию Кончаловский не пошли по этому пути — романтическая сторона жизни иконописца их не занимала. Они поставили перед собой другую цель: глазами великого художника увидеть его переломную эпоху. В фильме Тарковского Рублев выступает скорее созерцателем, чем героем, а если участвует в событиях, то не на главных ролях. Перед его глазами проходит без прикрас вся русская жизнь: с тайными языческими праздниками, казнями, преступлениями, усобицами и татарскими налетами. Переживая от события к событию все боли и радости родной земли, через тяжелые творческие искания и сомнения идет Рублев к главному творению своей жизни — гениальной «Троице». Структурно фильм распадается на несколько отдельных, не связанных между собой сюжетом новелл или фресок русской жизни. Всего их восемь; первая — «Скоморох» — относится к 1400 г., последняя — «Колокол» — к 1423. (Первоначально Тарковский хотел начать с 1380 г. — с Куликовской битвы, но денег не хватило, и от этой новеллы пришлось отказаться.) Картина была окончена в 1966 г, тогда же показана кинематографической общественности Москвы и произвела ошеломляющее впечатление. Такой живой, сложной, многофигурной панорамы древнерусской жизни на советском экране еще никогда не бывало.
Однако трагедийная жестокость авторского взгляда многим показалась неоправданной. Тарковского обвиняли в отсутствии оптимизма, в недостатке гуманизма, в избытке жестокости, в смаковании наготы и чрезмерной растянутости отдельных эпизодов. Из первоначального монтажа Тарковскому пришлось вырезать почти 400 метров. Но многих замечаний он не принял, и выход «Андрея Рублева» замедлился. Советский зритель увидел его только в 1971 г., причем фильм сразу стал классикой и с тех пор уже не сходил с экранов (За рубежом картина появилась двумя годами раньше и заслужила самый восторженный прием. Показанный вне конкурса на Каннском фестивале, «Рублев» был отмечен особым призом критики.) В то время когда его третья картина появилась в прокате, Тарковский работал над экранизацией фантастического романа известного польского писателя Станислава Лема «Солярис». Роман этот привлек его глубоко философской постановкой проблемы нравственности и ответственности человека за свои поступки. Главная проблема «Соляриса» — это проблема контакта с гигантским познающим разумом — Океаном, покрывающим далекую планету Солярис. Океан, изучая людей — обитателей космической станции, — выуживает из их подсознания темные воспоминания (соблазны, вожделения, подавленное чувство вины — все, что их мучает) и материализует эти образы в нейтринные подобия. Таким образом, человек как бы вновь оказывается перед воплощением своих грехов. В высшем, философском смысле Солярис — это судьба, рок, безразличный и беспощадный, от которого невозможно уйти.