На выборах в марте 1970 года СПА одержала победу. Крайский стал федеральным канцлером страны.
Обязанности канцлера почти не оставляли Крайскому времени для столь близких ему внешнеполитических вопросов. Однако именно он внес немалый вклад в созыв Общеевропейского совещания. Его имя стоит среди имен глав правительств, подписавших 1 августа 1975 года в Хельсинки Заключительный акт этого форума. Много сил отдал Крайский борьбе за сокращение гонки вооружений. В годы его канцлерства Вена стала местом многочисленных встреч представителей стран Востока и Запада. По его инициативе в 1979 году был открыт Венский международный центр ООН.
Однако главной сферой международной деятельности Крайского в 1970-е годы стал Социалистический интернационал (СИ). Вместе со своим старым другом В. Брандтом и также ставшим близким ему шведским премьер-министром У. Пальме он активно обсуждал вопрос о том, как сделать Социнтерн важным субъектом международной жизни. Осенью 1976 года на XIII конгрессе СИ в Женеве Крайский был избран одним из вице-председателей организации. Находясь на этом посту вплоть до состоявшегося в июне 1989 года в Стокгольме XVIII конгресса, он много внимания уделял вопросам разрядки и разоружения, взаимоотношений Север — Юг, для урегулирования конфликтов в различных районах земного шара. Общительность, способность сходиться с людьми, умение их слушать, не навязывая собственного мнения, — черты дипломата Крайского.
Главной его заботой долгие годы был ближневосточный конфликт. Еще в период произраильской эйфории он укорял Г. Меир и Д. Бен-Гуриона, тогдашних лидеров Партии труда Израиля (ПТИ), — невзирая на их возмущение — за то, что руководимое ими правительство абсолютно те учитывает интересы арабских соседей. И в последующие годы израильские социал-демократы неоднократно негодовали по поводу нелицеприятных выступлений «антисемитствующего еврея», как однажды презрительно назвала Крайского Г. Меир. Ни еврейская национальность, ни то обстоятельство, что его родной брат жил в те годы в Израиле, ни произраильские симпатии значительной части социал-демократии не мешали этому выдающемуся дипломату объективно оценивать ситуацию на Ближнем Востоке, осознавая, что именно Израиль является главным виновником сохраняющейся там напряженности.
В начале 1974 года по инициативе Крайского Социнтерн создает так называемую исследовательскую группу в составе представителей ряда партий — членов СИ. В последующие несколько лет этот коллектив, получивший в Социнтерне неофициальное наименование «группа Крайского», посетил ряд арабских стран, непосредственно вовлеченных в противоборство с Израилем. Члены группы встретились с политиками арабского мира и, что самое главное, не пренебрегли контактами с руководством Организации освобождения Палестины (ООП).
Несколько лет спустя Крайский рассказывал об этом: «Моя первая поездка на Ближний Восток в 1974 году сопровождалась злобными комментариями со стороны Израиля. В первой стране, которую я посетил в ходе этой поездки, — Египте — тоже столкнулся с враждебным отношением».
Во многом благодаря дипломатическому опыту Крайского возглавляемой им миссии удалось обстоятельно обсудить проблемы со своими арабскими партнерами. Итогом «челночной дипломатии» Крайского середины 1970-х годов стал подготовленный для Социнтерна доклад, в котором важное место было отведено палестинской проблеме. Он призывал откликнуться на стремление палестинцев обрести государственный суверенитет и начать с их лидерами политический диалог. Обоснованная и взвешенная логика аргументов Крайскрго убедила его коллег по руководству СИ сесть за стол переговоров с представителями ООП. Не случайно, что именно в Вене в июле 1979 года состоялась встреча Крайского и Брандта с Я. Арафатом.
Крайский внимательно следил за развитием событий на Ближнем Востоке. После израильской агрессии против Ливана в июне 1982 года он категорически отказался от участия в поиске компромисса после новой агрессии, окончательно приняв сторону палестинского народа.
Выборы в апреле 1983 года лишили СПА абсолютного большинства мест в парламенте. Крайский, который еще за несколько лет до этого заявлял о своем желании уйти в отставку, ссылаясь на ухудшение здоровья и переутомление (ему шел 73-й год), смог наконец отойти от активной политики. На очередном съезде СПА, состоявшемся осенью 1983 года, Крайский занял специально учрежденный для него пост почетного председателя Социалистической партии Австрии.