23 марта 1924 года Берзин стал начальником Разведуправления. Первый раз он пробыл на этом посту до 1935 года, когда после отставки был назначен на должность заместителя командующего ОКДВА — Особой Краснознамённой дальневосточной армии, которой командовал прославленный герой Гражданской войны маршал Василий Константинович Блюхер.
Перед отъездом Берзина Ворошилов дал ему такую характеристику:
«Преданный большевик-боец, на редкость скромный, глубоко уважаемый и любимый всеми, кто с ним соприкасался по работе. Товарищ Берзин всё своё время, все свои силы и весь свой опыт отдавал труднейшему и ответственнейшему делу, ему порученному…»
Чем же он заслужил такую лестную оценку?
Для того чтобы дать ответ на этот вопрос, нужно проанализировать или хотя бы вкратце ознакомиться с работой Разведуправления в то время, когда там трудился Берзин.
1921–1937 годы называют «эпохой великих нелегалов». Биографии этих людей, которых готовил и забрасывал в тыл противника Ян Берзин, это и есть, по существу, его биография.
После Октября 1917 года правительство большевиков не тронуло военную разведку. Она продолжала работать, пройдя через многие драматические ситуации — измены, бегства, отказы сотрудников выполнять задания. Постепенно, к началу 1921 года, сложился новый аппарат Разведуправления. Более половины руководителей, занимавших все ключевые посты, были латышами, среди них — начальник Оперативного отдела Я.К. Берзин.
По мере развития разведки менялась её структура, менялись должности, занимаемые Берзиным. Он пришёл на пост её руководителя после того, как его предшественник А.Я. Зейбот, тоже латыш, направил в ЦК ВКП(б) письмо с просьбой отпустить его с этой работы и назначить на неё Я.К. Берзина.
Начало 1920-х годов было для разведки очень трудным: неопытность, проблемы с кадрами, но главное, нехватка денег. Бедность была такой, что когда официальные разведчики оказывались за границей, за ними буквально бегали зеваки, «любуясь» их одеждой. Для пополнения кассы приходилось заниматься бизнесом, например, торговать пушниной.
Трудности существовали и во взаимоотношениях между Разведупром, ИНО ОГПУ и Коминтерном. Разведка неоднократно получала указания, запрещающие использовать членов национальных компартий для разведывательной работы в пользу СССР. Однако соблазн использовать даровых агентов был слишком велик, и разведчики игнорировали эти директивы.
Так или иначе работа развёртывалась. Поскольку «легальные» резидентуры («под крышей» посольств, торгпредств, коммерческих фирм и т. д.) находились под неусыпным контролем контрразведки противника, пришлось делать упор на нелегалов. Вот несколько примеров, неизвестных и известных.
В 1922 году во Францию была направлена дворянка Мария Скаковская. Вскоре эта красивая и обаятельная женщина стала помощником резидента. В 1923–1924 годы от неё поступали в Москву сведения о планах Верховного штаба Антанты. В начале 1924 года ей удалось заполучить стенограмму совместного совещания представителей генштабов Англии и Франции с командованием русской армии в эмиграции. На совещании обсуждался вопрос о новой интервенции с одновременным выступлением контрреволюции внутри страны.
В конце 1924 года Скаковскую перевели в Варшаву, где в это время резидентура была разгромлена. Но случилось так, что перед её обаянием и красотой не устояли не только польские офицеры и дипломаты, но, вопреки её желанию, и советский посол Войков. Его усиленное внимание к ней привело к тому, что в 1926 году она была арестована польскими властями и осуждена как шпионка на пять лет. В 1931 году Скаковская, совершенно больная, вышла из тюрьмы и после возвращения в СССР перешла на гражданскую работу.
Мало кто знает, что Войков за своё поведение был исключён из партии и снят с должности посла. 7 июня 1927 года его убил белогвардеец Коверда, и это как бы «реабилитировало» Войкова, он был торжественно похоронен у Кремлёвской стены, а впоследствии в его честь назвали станцию московского метро.
Веймарская Германия была, с одной стороны, союзником, а с другой — объектом наблюдения военной разведки.
С начала 1920-х годов абвер и Региструпр регулярно обменивались материалами, в основном по Польше (она была главным противником как для Германии, так и для СССР), а также по Балканам и странам Азии. С 1925 года этим обменом с советской стороны непосредственно руководил Я.К. Берзин. Так в начале 1930-х годов в Вене были арестованы советские разведчики. Их освободили благодаря содействию тогдашнего руководителя абвера полковника Фердинанда фон Бредова. После прихода Гитлера к власти всякие контакты между разведками были прекращены.