Рачковский праздновал победу. Мануйлову был нанесен жестокий удар. Но еще большие неприятности его ждали впереди.
26 декабря 1905 года министр внутренних дел П. Н. Дурново назначил Мануйлову жалование из секретных сумм в размере 7200 рублей ввиду возложенного на него С. Ю. Витте поручения. Мануйлову предстояло встретиться с Гапоном, одним из вдохновителей рабочих забастовок, и уговорить его выехать за границу. Ивану Федоровичу после долгих бесед удалось склонить Гапона к отъезду. Однако далее началась эпопея с 30 тысячами. Мануйлова стали подозревать в присвоении денег, переданных ему для внесения через Гапона в кассу рабочих организаций. Сам же Иван Федорович говорил, что его просто «подставили». Так или иначе Мануйлов был уволен с государственной службы, причем без права занимать в дальнейшем официальную должность.
Первые дни 1906 года 6 н провел с очаровательной Булатовой. В Рождество встретил неотразимую француженку Анни Дюзель, которой когда-то дал рекомендательные письма в Петербург. Вскоре она переехала в его двухэтажный Дом в Дубках.
Между тем дела авантюриста шли из рук вон плохо. Пытаясь найти выход из создавшегося положения, Мануйлов метался между Москвой, Петербургом и Парижем, принимая сомнительные предложения. 12 апреля 1906 года Булатова сообщила ему, что ждет ребенка. Положение Мануйлова с каждым днем становилось все опаснее. Балерина была дочерью полковника А. С. Булатова и имела в Санкт-Петербурге надежную защиту.
Мануйлов отправил ее в Дубки, где жила Дюзель. Булатова была приветливой, и Анни стала поверять ей свои сокровенные тайны.
28 мая Мануйлова вызвали в Дубки в связи с убийством Анни Дюзель. Вскрытие показало, что она была отравлена, однако следствие удалось прекратить. В протоколе было написано, что смерть наступила в результате несчастного случая.
Гартинг продолжал расследовать деятельность Мануйлова. Он встречался с его агентами, изучал документы. Выяснилось, что многие агенты не получили обещанного вознаграждения.
В департаментской справке о жизни Мануйлова после увольнения говорилось: «Проживая в Санкт-Петербурге, Мануйлов распространял слухи, что благодаря занимаемому им в министерстве внутренних дел служебному положению и обширным его связям с разными высокопоставленными лицами, он имеет возможность устраивать разные дела во всех ведомствах, в частности, и в Департаменте полиции. Таким словам Мануйлова многие верили, так как он жил весьма богато, вел крупную игру в клубах и проживал, судя по некоторым указаниям, не менее 30 000 рублей в год».
Наконец в январе 1910 года департамент полиции получил сообщение, что Мануйлов продал революционеру Бурцеву разоблачительные документы за 150 000 франков и получил задаток 20 000 франков.
В ночь на 17 января 1910 года у Мануйлова был произведен обыск, наделавший много шума в обществе. Мануйлов старался придать обыску характер сенсационности, заявив, что в обыске участвовали несколько десятков человек и был оцеплен весь квартал. Он выставлял себя «жертвой политического произвола».
Весть об обыске быстро разлетелась по Западной Европе. В Париже это встревожило французскую тайную полицию, поставлявшую Мануйлову секретные сведения.
В представлении вице-директора департамента полиции С. Е. Виссарионова, в частности, говорилось: "Преступная деятельность И. Ф. Манасевича-Мануйлова охватывает период с 1907 года, т. е. по увольнении с государственной службы.
С помощью услуг особых агентов (Радионова, Минца и Симоняна) он распространял в определенных деловых кругах сведения о себе, как о человеке, занимающем высокое служебное положение и обладающем большим вниманием и связями, позволяющими за деньги улаживать различные сложные дела в Департаменте полиции и других государственных учреждениях.
В просителях не было недостатка.
Вид богато обставленной приемной, располагающая к доверию внешность самого И. Ф. Манасевича-Мануйлова, телефон, официальные бланки — все это не вызывало у просителей и тени сомнений.
Цена услуг колебалась от 500 рублей до 15 тысяч рублей.
Установлено и доказано совершение шести сделок подобного рода, на которых в четырех Мануйлову удалось добиться обещанного результата. Дача взяток Мануйловым каким-либо должностным лицам следствием не установлена".
В этом донесении использована двойная фамилия Манасевич-Мануйлов. Это Гартинг предположил, что Иван был сыном Федора Манасевича, купца 1-й гильдии, в доме которого воспитывался. Эта версия подкрепляется завещанием Манасевича в пользу Ивана Федоровича.