Начиная с 1964 г. круг волновавших Сахарова вопросов все более расширялся. Его стали занимать глубокие проблемы взаимоотношения государства и научной интеллигенции. В 1968 г. появилась его работа «Размышления о прогрессе, мирном сосуществовании и интеллектуальной свободе». Здесь были изложены мысли Сахарова о важнейших вопросах, стоявших перед человечеством, — о войне и мире, о диктатуре, о запретной теме сталинского террора и свободе мысли, о загрязнении среды обитания и той роли, которую сможет сыграть в будущем наука и научно-технический прогресс. Он писал, что со второй половины XX века человечество вступило в особо ответственный, критический период своей истории: опасность термоядерной гибели, отравление окружающей среды, истощение ресурсов, перенаселение планеты, неумеренный рост городов, дегуманизация общества, безумный темп жизни — все это возлагает на политиков, в руках которых находится власть (в особенности на руководителей сверхдержав), огромное бремя ответственности. Ради решения этих проблем Сахаров призывал забыть о вражде, об идеологических разногласиях и объединиться ради будущего планеты. Именно здесь была впервые сформулирована глубинная и очень важная для Сахарова мысль о том, что во имя будущего человечества социалистическая и капиталистическая системы должны сближаться между собой и процесс этот должен сопровождаться демократизацией и демилитаризацией общества.
В Советском Союзе работа Сахарова распространялась нелегально в качестве «самиздата». За рубежом она была переведена на несколько языков, опубликована огромным тиражом и вызвала поток откликов в прессе многих стран.
Советское руководство очень болезненно отреагировало на это выступление Сахарова. Хотя в его книге не было ничего антисоветского, сам факт, что он позволил себе «вмешаться» и говорить партийному руководству о его ошибках в управлении экономикой, о просчетах в его внутренней и внешней политике, вызывало огромное раздражение. В том же году Сахарова отстранили от секретных работ. Однако с этого времени к нему потянулись многие из тех, кто был оппозиционно настроен к советскому режиму и кто был готов участвовать в правозащитном движении. Фактически с этого времени правозащитное движение нашло в Сахарове своего идейного вождя.
Это было очень трудное для него время. В 1969 г. умерла от рака первая жена Сахарова Клавдия Алексеевна (через несколько лет он женился на Елене Боннэр). Во время болезни жены Сахаров передал почти все свои сбережения в фонд государства на строительство онкологической больницы и в Красный Крест. Сам он не без труда, лишь после многомесячной волокиты, смог вернуться на работу старшим научным сотрудником в Физический институт, в котором проработал последние двадцать лет жизни. Но главным делом его в эти годы стала правозащитная деятельность. Именно на этом поприще Сахаров приобрел огромную известность как в СССР, так за рубежом. В 1970 г. вместе с Чалидзе и Твердохлебовым он образовал Комитет прав человека. В марте 1971 г. Сахаров направил Генеральному секретарю Брежневу «Памятную записку», в которой изложил свои предложения о тех демократических реформах, которые необходимо провести в стране. Через 15 месяцев, не получив никакого ответа, он передал ее для опубликования за границу, дополнив «Послесловием». Советское руководство в бессильном раздражении наблюдало за всем, что делал и говорил Сахаров. Писатель Лев Копелев писал: «Его вызывали прокуроры и руководители Академии. Предостерегали. Уговаривали. Угрожали… Но он не сдается. Снова и снова продолжает отстаивать права человека, призывать к справедливости и к политическому здравому смыслу».
Сахаров сознательно выбрал из всех возможных форм протеста правозащитную деятельность, так как считал, что советское общество более всего нуждается в защите человеческих прав и идеалов, а не в политической борьбе, которая, по его словам, неизбежно «толкает на насилие, сектантство и бесовщину». Гневные протесты Сахарова вызывали прежде всего политические процессы, проходившие тогда над инакомыслящими. Он считал своим долгом являться на каждый из них. Если его не пускали в зал суда, он никуда не уходил — часами и днями простаивал перед закрытыми дверями, демонстрируя таким образом свой протест. Вместе с тем он ходатайствовал, обращался в разные инстанции, взывал к международным организациям и Верховному Совету, помогал заключенным чем только мог. На первый взгляд все это выглядело бессмысленной тратой сил. На его ходатайства не отвечали или давали понять, что он вмешивается не в свое дело, его протестов не замечали ~ власть продолжала делать свое дело. Приговоры не смягчали, арестовывали тех, кто помогал Сахарову, высылали его близких. В этом противостоянии слабого человека могучей и отлаженной государственной машине, казалось, было даже что-то нелепое. Многие знавшие Сахарова искренне недоумевали: как он мог променять свое былое высокое положение, славу, деньги, престиж на эту мелочную и никчемную деятельность? Но Сахаров смотрел на происходящее другими глазами, понимая, что в деле защиты человеческих прав нет и не может быть никаких мелочей. Любой факт такого нарушения должен получить оценку в обществе — только таким образом можно заставить государство считаться с общественным мнением. И поскольку советское общество в основной своей массе было пока не готово адекватно реагировать на нарушение своих прав, Сахаров и его незначительные единомышленники должны были делать это одни. Конечно, своим протестом они не могли ничего добиться, но сам факт этого протеста был очень важен. Нельзя не признать, что в этой позиции (как бы не относились мы к самим взглядам Сахарова) было много личного мужества. Противопоставляя себя мощному идеологическому аппарату КПСС, он, конечно, понимал, что будет ошельмован, облит потоками грязи, подвергнется яростным нападкам обывателей, не имея возможности даже слова сказать в свое оправдание. И тем не менее, вступив на выбранный им тягостный путь, он в последующие годы ни на йоту не поддался назад. «У Андрея Дмитриевича, — вспоминал писатель Виктор Некрасов, — много странностей. Не только селедка, кисель (Сахаров всю пищу принимал только в подогретом виде) или полная растерянность у железнодорожной кассы, где книжечка Героя Социалистического Труда (трижды!) в момент решает все транспортные проблемы. Вероятно, есть десятка два или три других еще странностей, но есть одна, к которой никак не могут привыкнуть, просто понять люди, считающие себя руководителями нашей страны. Этот человек ничего не боится. Ничего! И никого!»