В порядке сотрудничества между Германией и Японией, предусмотренного Антикоминтерновским пактом, Канарис заключил с представителем японской разведки (он же посол в Берлине) генералом Ошимой соглашение, включающее следующие пункты:
а) руководство контрреволюционными украинцами в Европе — дело Абвера II, но японцы будут информироваться о состоянии дел;
б) японцы со своей стороны активизируют связи на Дальнем Востоке с украинскими поселенцами в «зеленом углу» (район юго-западнее Владивостока, пограничный с Кореей и Китаем. — И.Д.).
Абвер принял участие в использовании в интересах гитлеровского режима представителей и других народов СССР.
16 июля 1941 года на совещании германского высшего руководства с участием Гитлера, Розенберга, Геринга и Ламмерса было заявлено: «Железным правилом должно быть и оставаться: никому не должно быть позволено носить оружие, кроме немцев. И это особенно важно, даже если вначале может показаться легким привлечение каких-либо чужих, подчиненных народов, к военной помощи — все это неверно! Когда-нибудь оно обязательно, неизбежно будет повернуто против нас. Только немцу позволено носить оружие, а не славянину, не чеху, не казаку или украинцу!»
Сказано очень категорично, но сразу же после провала планов молниеносной войны и больших потерь вермахта встал вопрос о пополнениях из числа народов СССР, и в 1942 году под его знамена были поставлены десятки тысяч человек.
Гитлер категорически не доверял русским и славянам вообще. Поэтому вначале речь шла о привлечении в вермахт представителей тюркских, мусульманских народов Поволжья, Средней Азии и Кавказа. Считалось, что они особенно настроены против русских и, следовательно, против коммунистов и советской власти.
В августе 1941 года в лагерях военнопленных начали работать комиссии, отделяющие тюркских военнопленных (в число которых попали грузины и армяне) от славян и создания для них специальных лагерей, где усилилась их пропагандистская обработка. Из числа этих военнопленных в дальнейшем формировались легионы: Азербайджанский, Армянский, Северокавказский, Грузинский, Туркестанский и Волго-татарский и команды «хивис» (от немецкого «Хильфе виллиге» — желающие помочь), которые использовались на различных вспомогательных работах.
Но к этому «эксперименту» сразу же подключился абвер и Высшее командование сухопутных войск. Уже 6 октября 1941 года был отдан приказ в порядке опыта в районах действий групп армий «Север», «Центр» и «Юг» создать казачьи добровольческие сотни и направить их на борьбу с партизанами. 15 ноября 1941 года при каждой дивизии группы армий «Юг» была создана сотня из «военнопленных туркестанской и кавказской национальности». Осенью 1941 года возникли еще два подразделения из числа этих же лиц: батальон «Бергман» («Горец») под командой обер-лейтенанта Теодора Оберлендера и 450-й Туркестанский пехотный батальон под командой майора Андриеса-Майер-Мадера.
Вербовка проводилась с использованием метода «кнута и пряника». Военнопленным наглядно демонстрировали, какие блага им сулит сотрудничество с немцами и что угрожает в случае отказа. Надо признать, большинство лиц, поступивших на службу к немцам, сделали это добровольно, о чем они давали подписку (этого требовала директива генштаба от 22 ноября 1942 года). Кроме того, они давали присягу со следующими словами: «Именем Бога я клянусь этой святой клятвой, что в борьбе против большевистского врага моей родины буду беспрекословно верен высшему главнокомандующему германского вермахта Адольфу Гитлеру и, как храбрый солдат, готов в любое время пожертвовать жизнью ради этой клятвы». Присяга принималась в присутствии немецких офицеров сначала на немецком, затем на родном языке. В конце легионер должен был на родном языке произнести фразу: «Я клянусь».
В целом немцы в своей авантюре с созданием Восточных легионов потерпели неудачу, хотя отдельные легионы и принимали участие в боевых действиях. Шесть туркестанских, три северокавказских, пять азербайджанских и два армянских батальона участвовали в наступлении германской армии на Кавказ в 1942—1943 годах; 836-й северокавказский батальон участвовал в боях под Харьковом, три туркестанских батальона — в наступлении на Сталинград (при этом большинство легионеров погибло), а азербайджанские батальоны привлекались к подавлению Варшавского восстания в сентябре 1944 года. Шесть батальонов в самом конце войны участвовали в обороне Берлина.