Ранним утром 6 июля 1918 года Блюмкин пришел в ВЧК, взял бланк удостоверения и напечатал: «Всероссийская чрезвычайная комиссия уполномочивает ее члена Якова Блюмкина и представителя Революционного трибунала Николая Андреева войти в переговоры с Господином Германским Послом в Российской Республике по поводу дела, имеющего непосредственное отношение к Господину Послу». Блюмкин расписался за секретаря ВЧК Ксенофонтова, а один из членов ЦК ПЛСР подделал подпись Дзержинского. Вскоре пришел В. Александрович, который поставил на мандате печать.
В гараже Блюмкину по распоряжению Александровича предоставили «паккард» с открытым верхом. Яков заехал в гостиницу, переоделся и отправился в 1-й Дом Советов (гостиница «Националы)), где в квартире П.П. Прошьяна, члена ЦК ПЛСР, его уже ждал Николай Андреев. Террористы получили по бомбе и револьверу.
Четвертым участником покушения стал матрос из отряда ВЧК, вооруженный бомбой. В случае гибели шофера, он должен был сесть за руль.
В 14 часов 15 минут «паккард» остановился у особняка германского посольства в Денежном переулке. Выйдя из машины, Блюмкин приказал шоферу не глушить мотор.
Граф Мирбах, боясь покушений, избегал приема посетителей Однако, узнав, что прибыли официальные представители советской власти, он спустился в гостиную. Гости и хозяева расположились за круглым массивным мраморным столом – с одной стороны Блюмкин, напротив него – Мирбах, сотрудники посольства Карл Рицлер и Леонгарт Мюллер. Андреев встал у дверей.
Яков разложил на столе бумаги и принялся объяснять послу, что ВЧК арестовала его родственника, офицера австрийской армии, по обвинению в шпионаже. Он предъявил графу протоколы допроса Роберта Мирбаха и бумаги, полученные из датского консульства.
Вильгельм Мирбах заявил, что с этим родственником он никогда не встречался и ему безразлична его судьба. А Рицлер добавил, обращаясь к графу: «Ваше сиятельство, я полагаю, что следует прекратить этот разговор, а Чрезвычайной комиссии дать письменный ответ через Народный комиссариат иностранных дел».
В этот момент в разговор вмешался Андреев: «Видимо, господину графу интересно знать, какие меры будут приняты с нашей стороны?» И Блюмкин тут же повторил вопрос: «Да, господин посол, вы желаете это знать?» И, не дожидаясь ответа, он выхватил револьвер и несколько раз выстрелил в немцев. Рицлер и Мюллер упали на пол, граф побежал в соседний зал. Андреев догнал Мирбаха и кинул ему под ноги бомбу, но она не взорвалась. Тогда террорист сильным ударом свалил графа и отскочил в сторону. В этот момент Блюмкин поднял бомбу и бросил ее в Мирбаха. Раздался громкий взрыв. Яков отлетел на несколько шагов. На полу около полуметровой выбоины остался лежать раненный в голову Мирбах.
Оставив на столе шляпы, револьвер, портсигар, документы и портфель с запасной толовой бомбой, террористы бросились к разбитому окну. Андреев через несколько секунд уже был в автомобиле. Блюмкин же приземлился неудачно. К тому же, когда он перелезал через железную ограду, из посольства открыли огонь, Пуля угодила Якову в ногу. Он с трудом забрался в «паккард».
Через несколько минут террористы были уже во дворе особняка Морозова в Трехсвятительском переулке. Здесь размещался штаб отряда ВЧК, которым командовал левый эсер Д.И. Попов. Блюмкину изменили внешность: остригли, сбрили бороду, переодели в красноармейскую форму. Затем перевезли в лазарет, на другой стороне переулка.
Не прошло и получаса после взрыва в Денежном переулке, как управляющему делами Совнаркома Бонч-Бруевичу позвонил Чичерин и сообщил о покушении на Мирбаха.
Бонч-Бруевич немедленно передал это сообщение Председателю Совнаркома В.И. Ленину. Узнав о случившемся, Ленин распорядился усилить охрану германского посольства. Затем связался с Л.Д. Троцким, Я.М. Свердловым, Ф.Э. Дзержинским и другими руководителями государства и поставил их в известность о террористическом акте. Во все районные комитеты РКП(б), районные Советы была отправлена телефонограмма, в которой сообщалось о том, что в немецком посольстве взрывом бомбы тяжело ранен Мирбах. «Это явное дело монархистов или тех провокаторов, которые хотят втянуть Россию в войну в интересах англо-французских капиталистов, подкупивших и чехословаков. Мобилизовать все силы, поднять на ноги все немедленно для поимки преступников. Задерживать все автомобили и держать до тройной проверки. Предсовнаркома В. Ульянов (Ленин)».