18 сентября 1935 года Политбюро ЦК КПЮ рекомендовало его политическим референтом в Балканский секретариат Коминтерна. В Москву Иосип Броз прибыл 21 февраля 1935 года из Праги с австрийским паспортом на имя Йозефа Гофмахера. Сотрудники Коминтерна знали его как Фридриха Фридриховича Вальтера. Этим псевдонимом он подписывал документы, которые представлял в Коминтерн.
11-летнего сына Жарко Иосип Броз обнаружил в детском доме недалеко от Ленинграда и забрал его к себе в гостиницу. Тито развелся с Пелагеей Белоусовой, а 13 октября 1936 года заключил брак с женой видного деятеля комсомола Германии, осужденного фашистскими властями на 15 лет каторги, Люцией Бауэр (настоящее ее имя Иоганна Кёниг). 21 сентября 1937 года Люция Бауэр была арестована органами НКВД. Жарко Броз был передан на воспитание в специальный детдом для детей сотрудников Коминтерна в город Иваново.
В качестве секретаря югославской делегации И. Броз Тито принял участие с правом совещательного голоса в работе VII конгресса Коминтерна, проходившего в июле — августе 1935 года в Москве в Доме союзов. Здесь И Броз Тито впервые увидел И.В. Сталина. Его поразило то, что за весь месяц работы этого конгресса Сталин появился в президиуме только один или два раза, причем садился за одной из мраморных колонн. «Больше мы его не видели, — говорил И. Броз Тито. — А звали хозяином. Так было принято в то время».
16 октября 1936 года И. Броз Тито по распоряжению Коминтерна выехал на работу в Югославию с задачей «руководить деятельностью партии и нести основную ответственность за новое руководство, которое должно находиться в стране».
На заседании ЦК КПЮ 3 апреля 1937 года, в котором приняли участие Бург (М. Горкич), Тито (Вальтер), Шварц (С. Жуйович) и Руди (Р. Чолакович), была создана специальная комиссия Тито для расследования обстоятельств неудачи с отправкой югославских добровольцев в Испанию. В июле последовал вызов М. Горкича из Парижа в Москву, а в августе 1937 года перестала поступать финансовая помощь Коминтерна.
М. Горкич был отстранен от выполнения обязанностей Генерального секретаря ЦК КПЮ. 17 августа 1937 года Тито взял на себя обязанности оргсекретаря. Оппозиционная И. Броз Тито группа обвиняла его в том, что он отказался очистить руководство КПЮ и его аппарат от сторонников М Горкича, от сомнительных элементов, связанных с полицией. Во время пребывания в Москве осенью 1938 года И. Броз Тито был «буквально на волосок от ареста» в связи с тем, что его противники пытались инкриминировать ему вину за провал операции по отправке югославских добровольцев в Испанию в феврале — марте 1937 года. Таким образом недруги пытались исключить И. Броз Тито из числа претендентов на вакантный пост Генерального секретаря ЦК КПЮ. Не случайно он назвал свое пребывание в Москве «самыми трудными днями в своей жизни», когда у него появилась седая прядь в волосах.
30 декабря 1938 года И. Броз Тито был принят Г. Димитровым. В этой беседе речь шла о программе дальнейшей деятельности Временного руководства КПЮ в стране во главе с И. Броз Тито, которому предоставлялся как бы испытательный срок в три месяца, после чего он должен был вновь приехать в Москву для отчета в Коминтерне о проделанной работе.
На заседании Секретариата Коминтерна 23 ноября 1939 года было признано, что руководство КПЮ своей деятельностью смогло завоевать доверие членов партии. Данное заседание сыграло важную роль в окончательном позитивном разрешении так называемого вопроса о КПЮ, поскольку на нем фактически была не только одобрена деятельность Тито, но и подтвержден его мандат как Генерального секретаря ЦК КПЮ. Тем не менее и в этот приезд ему пришлось заниматься опровержением компрометирующих материалов, подброшенных его недоброжелателями. На этот раз он был объявлен «югославским немцем из Осиека, работавшим в Компартии Германии», и обвинен в троцкистском искажении при переводе им на хорватско-сербский язык IV главы «Краткого курса истории ВКП(б)». Но при обсуждении этого вопроса в Контрольной комиссии Коминтерна была доказана абсурдность обвинения. Неприязнь к Тито его оппонентов проявилась и в том, что они ему стали приписывать «склонность к буржуазным манерам» на том основании, что он носил перстень.
Сформированное И. Броз Тито Временное руководство состояло в основном из молодых, глубоко преданных делу коммунистов. Большинству из них еще не было и 30 лет, но они уже имели за плечами богатый опыт революционной работы. В знак уважения к И. Броз Тито, а также признания старшинства его соратники пользовались в обиходе кличкой «Старик», которая прочно закрепилась за ним на всю жизнь.