«Пивной путч» Гитлера и выступление боевиков офицерской организации потерпели неудачу. Канариса 15 января 1924 года произвели в капитаны 3?го ранга. Он хотел оставить флот, но начальник базы отговорил его, намекая на активную деятельность. В мае 1924 года капитан 3?го ранга отправился в Японию. Еще с 1920 года германские инженеры начали строить в Осаке подводные крейсера для японского флота. Однако возникли трения, которые Канарису удалось успешно ликвидировать, и работы продолжались. Успех оценили. По возвращении 4 октября Канариса назначили начальником сектора подготовительно?мобилизационных работ при главном командовании ВМС. Начав с использования для боевой подготовки старых судов, со временем стали строить свои крейсера и миноносцы. Канарис выделился, подготовив документ, показавший силу и слабость программы мобилизации флота. Но ему не нравилась бумажная работа.
Канарис стал сам искать пути пополнения средств на восстановление флота и установил контакт с Вальтером Ломаном, который намеревался в соседних странах создавать подставные фирмы, работающие на подъем военного потенциала Германии. В Испании Канарис наладил связи с промышленниками и политическими кругами, организовал производство торпед и кораблей, сотрудничал со спецслужбами, познакомился с полковником Франко и другими будущими участниками государственного переворота. 1 октября 1926 года Канариса назначили референтом при начальнике штаба ВМС. В 1927 году он начал налаживать связи со странами Южной Америки.
22 июня 1928 года Канарис вступил в должность старшего помощника командира линкора «Шлезиен», а через год его произвели в капитаны 2?го ранга. В это время Испания заказала подводную лодку по германскому проекту, и Канариса послали в командировку. Однако его связь со спецслужбами стала известна журналистам. Кроме того, моряка обвиняли в непрофессионализме, и новый командующий ВМС Эрих Редер запретил давать ему секретные или политические поручения.
29 сентября 1930 года за служебное рвение Канариса назначили начальником штаба североморской базы. Здесь он не поладил с Карлом Дёницем, старшим офицером адмиралтейства. 1 октября 1931 года моряка произвели в капитаны 1?го ранга.
Следствие по поводу эпизода, когда Канарис помог бежать одному из убийц Либкнехта и Люксембург, казалось, поставило на его карьере крест. Спас Канариса союз с нацистами, которые рвались к власти. Среди поддержавших Гитлера на выборах 1932 года было немало морских офицеров, которым импонировало желание фюрера создать могущественный флот. Канарис, которого устраивала антисоветская политика Гитлера, встал на позиции национал?социализма. Вскоре его назначили командиром линкора «Шлезиен», большинство экипажа которого также не симпатизировало республике. Посему гитлеровский переворот 30 января 1933 года вызвал восторг на борту корабля, а Канарис начал воспитание моряков в духе национал?социализма.
Поссорившегося с собственным начальником контр?адмиралом Бастианом моряка перевели комендантом в крепость Свинемюнде, но вскоре его рекомендовали на пост начальника военной контрразведки — абвера. 2 января 1935 года Канарис приступил к своим обязанностям. Шеф абвера был энергичен и отдавался работе, заставляя крутиться и подчиненных. Он считал необходимым превратить абвер в важнейшую разведывательную службу рейха. Чтобы ликвидировать распри между рейхсвером и СС, Канарис установил тесные отношения с Гиммлером и Гейдрихом.
Абвер почти не располагал агентурой. В первую очередь капитан 1?го ранга создал агентурную сеть в Европе (в Голландии, Бельгии, Северной Франции). Когда германские войска вступили в Рейнскую область, агенты Канариса сообщили, что Франция не собирается начинать войну. Абверовцы устанавливали связи с иностранными разведками и пользовались результатами их действий друг против друга. В работе агенты применяли новые технические средства: малогабаритные радиостанции, съемку объектов в ультрафиолетовых лучах, микрофотографирование. Успехи абвера становились все весомее, что вызвало зависть Гиммлера, ставшего в 1936 году фактическим главой германской полиции. Однако Канарис добился того, что взаимоотношения ведомств уладились, а отношения между фюрером и шефом абвера стали доверительными.
Когда летом 1936 года испанские фалангисты подняли мятеж против республики, Канарис приложил немало усилий, чтобы организовать помощь генералам Франко и Мола со стороны Германии и Италии. Совместная помощь режиму Франко стала основой оси Рим — Берлин, организованной стараниями Канариса. Канарис установил связь с агентурой Японии, умело внедрявшейся в СССР. Страна восходящего солнца вошла третьим членом в Антикоминтерновский пакт, подписанный 25 ноября 1936 года между Германией, Италией и Японией.