Фемистокл одним из первых понял, что после изгнания персов главным соперником Афин станет Спарта. Борьба началась с конфликта из-за возведения крепостных стен в Афинах. Когда после побед над персидской монархией в 478 году до Р. X. возник союз островных и приморских полисов, возглавляемый Афинами, спартанцы, опасаясь чрезмерного усиления афинской общины, попытались дипломатическим путем поставить Афины в зависимость от себя.
Спартанский совет старейшин послал во все греческие города, расположенные на известном расстоянии от берега моря, в том числе и в разоренные персами Афины, послов, которые предложили при восстановлении городов не строить крепостных стен.
Свое предложение спартанцы мотивировали тем, что они будут рассматривать строительство городских крепостных стен как враждебный акт против всех остальных общин.
Внешне это предложение было весьма миролюбивым, но так как спартанцы обладали сильнейшим сухопутным войском в Греции, то города, не защищенные стенами, оказались бы в полной зависимости от них.
Афиняне, вынесшие тяжелую войну с персами, опасались обострять отношения со Спартой. С другой стороны, принятие спартанских предложений ставило в зависимость от Спарты не только дальнейшее существование Афинского морского союза, но даже и демократического строя в Афинах.
Ведение переговоров со Спартой взял на себя Фемистокл. Отправляясь в Спарту, он предложил Афинскому совету начать строительство крепостных стен в самом спешном порядке. В Спарте Фемистокл уклонился от встречи с местными эфорами под предлогом болезни. После же начала переговоров они были вновь отложены вследствие отсутствия у Фемистокла и его товарищей по посольству полномочий, оформленных должным образом.
Однако к этому времени спартанцы, услышавшие о постройке стен в Афинах, запросили Фемистокла. Он ответил, что ему ничего не известно, и посоветовал направить посольство в Афины. Одновременно Фемистокл тайно посоветовал задержать спартанских послов до его возвращения.
Когда же афинские стены были построены настолько, что за ними можно было обороняться, Фемистокл сообщил об этом спартанцам и попросил отпустить его в Афины, ввиду бессмысленности продолжения переговоров. И только после того как дипломат вернулся домой, спартанские заложники были отпущены на свободу. Афиняне благодаря дипломатической ловкости Фемистокла одержали верх, но с этого времени между Афинами и Спартой возникли крайне напряженные отношения.
Фемистокл продолжал укреплять морскую мощь Афин. Он построил и укрепил афинскую морскую гавань Пирей. По его совету союз греческих государств был расширен. Несколько городов-государств вступили в союз, признали главенство Афин и внесли деньги на строительство новых кораблей.
С островными государствами Фемистокл обращался повелительно и гордо. Он требовал от них безоговорочного подчинения Афинам.
Популярность Фемистокла среди афинян начала падать. Народ боялся, что его политика вовлечет Афины в опасную войну со Спартой. Кроме того, характер Фемистокла был небезупречен: у него недоставало чувства меры и справедливости, и часто, вопреки закону, он прибегал к насилию. Симпатии афинян перешли к Аристиду. Спарта видела в Фемистокле своего величайшего врага и не жалела денег, чтобы подорвать его влияние.
В 471 году до Р. X. Фемистокл был изгнан из Афин. Он отправился в Аргос, государство, которое было враждебно Спарте. Фемистокл рассчитывал сблизить Аргос с Афинами и создать сильный антиспартанский союз. Однако спартанцы приняли меры, чтобы обезопасить себя от этого энергичного человека.
Во время войны с персами спартанским войском командовал родственник царя Павсаний — сторонник отмены жестоких спартанских порядков. Павсаний даже вступил в переговоры с персами, надеясь, что те помогут ему совершить переворот в Спарте. За изменнические сношения с персидским царем Павсания казнили. Спартанские правители обвинили Фемистокла, что он вместе с Павсанием вел переговоры с персами. Фемистокл защищался против этого обвинения письменно. Но его враги потребовали, чтобы он явился и предстал перед общеэллинским судом в Спарте. Фемистокл не явился, понимая, что он не уйдет оттуда живым, и был заочно обвинен в государственной измене. Таким образом, и Афины, и Спарта преследовали спасителя Греции как предателя.
Оставаться в Аргосе было небезопасно, и Фемистокл бежит на север, на остров Керкиру, но маленькое государство побоялось предоставить ему убежище. Фемистокл переправился на материк и явился к эпирскому царю Адмету. Схватив на руки маленького сына Адмета, Фемистокл сел с ним у очага эпирского царя, прося о покровительстве. По древнему обычаю, такому просителю нельзя было отказать. Некоторое время Фемистокл жил в Эпире и даже тайно вызвал туда из Афин свою семью. Когда его местопребывание было открыто, Афины потребовали его выдачи. Горными тропами Фемистокл с семьей перешел в Македонию, где сел на корабль, плывший в Азию. Это был со стороны Фемистокла отчаянный шаг, так как за его голову персидский царь назначил огромное вознаграждение — 200 талантов. Великий царь считал, что никто из греков не причинил персам так много вреда, как Фемистокл.