Губернатор острова Барбадос, обеспокоенный бесчинствами Робертса, послал против него два корабля, каждый с двадцатью пушками на борту и командой пятьдесят человек. Корабли встретились с пиратскими, обстреляли друг друга, и Робертс, увидев превосходство противника, решил уходить, но так как тот не отставал, он, чтобы убыстрить ход, приказал выбросить за борт все пушки, боеприпасы и тяжелый груз. Благодаря этому удалось уйти от погони.
В свою очередь и губернатор острова Мартиника направил против Робертса два военных судна, когда узнал, что корабли пиратов встали на ремонт близ его берега. Робертс с трудом ушел от возмездия. Тем яростнее стал мстить своим преследователям. С этих пор каждый житель Мартиники или Барбадоса, если, по несчастью, попадал к нему в плен, мог заранее распрощаться с жизнью. Символом мести Робертсу служил отныне флаг с изображением силуэта пирата, вооруженного саблей и опирающегося ногой на два черепа.
Робертс командовал двумя кораблями В устье реки Сенегала ему повстречались два французских военных корабля Французы приняли пиратские парусники за торговые суда и потребовали, чтобы они остановились. Робертс повиновался. А когда корабли французов подошли близко, поднял черный флаг и огрызнулся всеми своими пушками. Оба военных корабля сдались пирату без боя. После этого Робертс решил зло подшутить над губернатором Мартиники. Он вновь пересек океан, под фальшивым флагом появился на рейде острова и подал сигнал, что у него, мол, на борту имеется контрабанда. В надежде поживиться на корабль пиратов явилось множество купцов. Как только они оказались на борту, Робертс приказал всех арестовать. Затем сжег их лодки, за исключением одной. На ней он отправил ограбленных купцов обратно с нижайшим поклоном губернатору.
«Удачу» заменили 18-пушечной бригантиной, которую переименовали в «Добрую удачу». Два корабля Робертса захватили французское военное судно, на борту которого находился губернатор Мартиники. Робертс повесил губернатора и присвоил его 50-пушечный корабль, назвав и его «Королевской удачей».
В апреле 1721 года Робертс отправился к берегам Африки, желая обменять награбленное добро на золото. К этому времени команда «Королевской удачи» состояла из 228 человек. На борту «Доброй удачи» находилось 140 матросов. Чтобы держать в повиновении эту большую и часто пьяную команду, Робертс становился все более деспотичным капитаном.
В июне Робертс достиг берегов Африки, захватил четыре трофея и оставил один из взятых кораблей, назвав его «Бродягой» (позднее — «Маленьким Бродягой»). После передышки на реке Сьерра Леоне морские разбойники направились к Либерии. Там они взяли на абордаж «Онслоу», принадлежавший Королевской Африканской Компании и имевший на борту ценный груз в 9000 фунтов стерлингов. Этот корабль стал четвертой по счету «Королевской удачей».
Робертс взял курс на юго-восток к Нигерии и Габону, а затем вернулся к Берегу Слоновой Кости, захватив по дороге по меньшей мере шесть кораблей. 11 января 1722 года Робертс добрался до Уайды (Уиды в современном Бенине) и взял на абордаж 11 кораблей, перевозивших рабов. Когда один португальский капитан отказался платить выкуп, пираты сожгли оба его корабля вместе с восьмьюдесятью рабами на борту. 32-пушечный французский военный корабль Робертс оставил при себе и назвал его «Большим бродягой».
Робертс решил вернуться в Бразилию, чтобы распустить там свою команду. Однако два британских военных корабля преследовали пиратов у африканских берегов. 5 февраля «Ласточка» нагнала эскадру Робертса у мыса Лопес в Габоне. Приняв военный корабль за португальское военное судно, «Большой бродяга» погнался за «Ласточкой» и после короткого боя вынужден был сдаться.
10 февраля «Ласточка» вернулась к мысу Лопес, где на этот раз обнаружила стоявшую на якоре «Королевскую удачу». На беду Робертса, накануне пиратам достался богатый трофей — судно с грузом спиртного. Удержать команду от возлияний Робертс не смог. А с пьяной командой Робертс едва ли мог победить противника. Напрасно он увещевал пиратов, убеждал, что у них только два выхода — победа или смерть. Но пьяные матросы не вняли призыву капитана.
Хладнокровно отдавая приказания, Робертс направил «Королевскую удачу» навстречу «Ласточке», чтобы использовать попутный ветер и оторваться от погони. Однако бортовой залп картечи сразил Робертса наповал. Пираты опустили гроб со своим капитаном, одетым в роскошные одежды, с золотым в бриллиантах крестом на груди, в морскую пучину. Команда «Королевской удачи» сдалась три часа спустя. Капитану последнего корабля Робертса удалось бежать, выкрав оставшуюся добычу с борта «Маленького бродяги». Пленников доставили в Гану, где они предстали перед судом. Из 162 захваченных в плен пиратов, 52 вскоре нашли смерть на виселице. Робертс у берегов Западной Африки начал свою карьеру, здесь он ее и закончил.