Осенью 1898 года Каляев перешел на юридический факультет Петербургского университета. Он начинал заниматься социологией, статистикой и политической экономией. В 1898 году стал членом петербургского «Союза борьбы за освобождение рабочего класса».
Весной 1899 года в городе вспыхнули студенческие беспорядки, и Каляев принял в них участие. Вскоре его арестовали и после трехмесячного заключения в тюрьме выслали на два года в Екатеринослав под надзор полиции. Там он работал конторщиком на заводе и в управлении железной дороги. Несмотря на угрозы полиции, примкнул к местному комитету социал-демократической партии. Это обошлось ему еще в два месяца тюрьмы.
Летом 1902 года окончился срок ссылки Каляева. Ему запретили восстанавливаться в университете, и он начал колесить по стране — Львов, Варшава, Вологда, Ярославль, — перебивался случайными заработками и… занимался революционной работой.
Вскоре он отправился за границу. В эмиграции он сошелся с вожаками «боевой организации» партии социалистов-революционеров и полностью попал под влияние их тактики индивидуального террора. Осенью 1903 года в Женеве Каляев стал членом «боевой организации» эсеров, созданной для осуществления террористических актов. По заданию этой организации в начале января 1904 года Каляев перешел русскую границу и под видом торговца табаком появился в Петербурге. Он был членом группы эсеров, которая готовила убийство Плеве. Наряду со всеми он принимал участие в «охоте» на Плеве.
Переодетый лоточником, офеней, извозчиком, он принимал участие в слежках за министром Его подпольная кличка Поэт.
15 июля 1904 года покушение удалось. После убийства Плеве Каляев скрывался — уехал за границу. Но пробыл он там недолго — уже в ноябре вернулся в Россию, на этот раз — в Москву, вернулся для того, чтобы принять участие в новой охоте — за великим князем Сергеем Александровичем Романовым — дядей царя Николая II. Его обвиняли в пристрастном отношении к евреям, которых среди эсеров было большинство. Ему решили припомнить, что по его настоянию при Александре III тысячи еврейских семейств были выселены из Москвы. Князю инкриминировали также и то, что при его попустительстве произошла давка на Ходынском поле на торжествах по случаю коронации Николая II. Впрочем, человеку, занимающему такой пост, можно инкриминировать что угодно.
Каляев купил сани и лошадь и систематически стал следить за князем, изучать его маршруты.
Покушение назначили на 2 февраля. Однако, когда Каляев приблизился к карете с бомбой в руках, он увидел, что рядом с князем жена и малолетние дети. Покушение перенесли на 4 февраля.
Покушение произошло в Кремле, на Арсенальской площади. Когда до двигавшейся навстречу княжеской кареты оставалось не больше четырех шагов, Каляев бросил бомбу. Раздался взрыв. Около здания судебных установлений среди обломков разбитой кареты лежал труп московского генерал-губернатора великого князя Сергея Александровича Романова.
Оглушенного взрывом Каляева схватили на месте покушения. Когда его везли через Кремль, он кричал во весь голос революционные лозунги: «Долой проклятого царя!», «Да здравствует свобода!», «Долой проклятое правительство!», «Да здравствует партия социал-революционеров!».
Арестованный признался сразу, что является членом «боевой организации» партии социал-революционеров и убил великого князя Сергея Александровича по ее приговору. Каляев не хотел, чтобы установили его личность, когда его фотографировали жандармы, он сделал свирепое лицо, надеясь стать неузнаваемым.
Долго полиция находилась в неведении, кого же она арестовала. Помог один из университетских однокашников Каляева. После этого у всех родственников арестованного произвели обыск.
Вначале заключенного держали в Якиманской части, затем перевели в Бутырскую тюрьму — в Пугачевскую башню. Через несколько дней его посетила великая княгиня Елизавета Федоровна, вдова убитою князя Сергея Александровича. Во время свидания она подарила ему иконку.
Каляев взял ее. Вот что писал по этому поводу защитник заключенного:
«Я был чрезвычайно поражен и обратился к Каляеву с вопросом: „Разве вы верующий человек?“ Он ответил: „Я мое дело сделал как мог, но я был и виновником величайшего человеческого горя неповинной женщины, и я чувствовал себя нравственно обязанным облегчить ей ее страдания, насколько это было возможно“».