Тогда испанские власти решили уничтожить весь скот на острове, чтобы задушить пиратов голодом. За два года живность на острове была выбита настолько, что многим буканьерам пришлось сменить профессию. Однако вскоре испанцы поняли, что в разбойном морском промысле маленький остров Тортуга играет куда более важную роль, чем большая Эспаньола.
В 1638 году испанцы подогнали к Тортуге десяток галеонов и высадили на острове мощный десант. Жорж Блон, французский исследователь истории пиратства, полагает, что тогда на острове было совсем немного орудий, может быть, даже ни одного. Испанцы выждали время, когда флибустьеры отправились на Эспаньолу заготовлять мясо, а оставшиеся поселенцы оказались практически безоружными. Они перестреляли сопротивлявшихся, сдавшихся на милость победителей — повесили, и только небольшой горстке уцелевших удалось скрыться в лесу.
Испанцы решили оставить в пиратском логове небольшой гарнизон, но у солдат душа не лежала к службе, заключавшейся в том, чтобы присматривать за морем и прочесывать из конца в конец остров, выискивая уцелевших жителей. Поэтому высадившиеся на Тортуге в начале 1639 года англичане захватили испанцев врасплох и выгнали их с острова. Прослышав об этом, сюда быстренько возвратились французские флибустьеры, радостно встреченные вылезшими из укрытий поселенцами.
Но англичане были вооружены до зубов, и французы согласились встать под начало их предводителя — капитана Виллиса. Со временем Тортугу вновь заселили в основном французы, и захудалый островок в Карибском море стал превращаться в стратегический форпост, претендовавший на роль подлинной пиратской митрополии в Карибском море. На него обратили внимание и «деятели» более крупного масштаба, одним из которых был французский дворянин-гугенот Левассер, решивший скинуть с острова английского капитана, причем как можно быстрее.
В последний день августа 1640 года Левассер высадился со своим отрядом на Тортуге. Их атака была молниеносной, да и враждебное отношение местных жителей к англичанам сыграло свою роль. Вскоре на острове была Учреждена торговая фактория, одновременно Левассер решил построить форт. Единственным местом на острове, куда могли приставать большие суда, был только один залив, пригодный для гавани, обращенной к проливу, разделяющему Тортугу и Эспаньолу. Над гаванью Бас-Тер возвышался могучий утес, который в то время назывался просто Горой. Лучшего места для возведения форта и придумать было нельзя.
Вход в залив прикрывала высокая скала, на которой пираты построили крепость, назвав ее «Эль Паломар» (Голубятня). Скальный форт был возведен по образцу феодальных замков, где в случае опасности могла укрываться добрая половина населения средневекового города. Гору венчал 10-метровый отвесный уступ, на вершине которого и была сооружена каменная квадратная площадка со стороной в 20 метров. На ней установили две железные и две бронзовые пушки, сколотили казарму, а в пещере устроили два склада — для продовольствия и для боеприпасов. И хотя казарма получилась действительно больше похожа на голубятню, в ней могли разместиться 400 человек — огромный гарнизон по масштабам того времени.
Вырубленные в скале ступеньки вели к подножию уступа, но на площадку можно было забраться только по железной лестнице, которую в случае опасности втаскивали наверх. Дополнительно французы установили еще и широкий, обитый железом короб, внутри которого была пропущена веревочная лестница. Крутые обрывы надежно защищали подходы к острову со стороны суши, и поэтому стволы пушек были повернуты только к морю.
Сейчас от этого сооружения ничего не осталось, но в свое время форт полностью соответствовал своему назначению. Испанцы, не знавшие о нем, в 1645 году попытались отбить Тортугу и подошли к острову на пяти галеонах, на борту которых находились 600 солдат. Однако им пришлось отступить с большими потерями…
Обеспечив свою безопасность, остров Тортуга сделался «выгодным предприятием». Его губернаторы от имени французского короля бойко торговали каперскими свидетельствами, и не только французскими. Если между Испанией и Францией воцарялся мир, они ставили на такие свидетельства подложную португальскую или голландскую печать.
Тысячи пиратов собрались на Тортуге, совершая из этого безопасного уголка набеги на испанские суда. Флибустьеры Тортуги выходили в море с поручительствами и всю свою добычу свозили в гавань Бас-Тер, где осели наехавшие из Европы негоцианты и ростовщики. В базарные дни берег возле гавани представлял живописнейшую ярмарку, где грудами продавали рыбу, черепах, ламантинов, лангустов, вяленое мясо, бычьи шкуры, овощи и птицу. Рядом торговали золотой и серебряной посудой, инкрустированной мебелью, парчой и богатой церковной утварью. Здесь толпились колонисты в шляпах с широкими полями, оборванные пираты, почти голые черные рабы и индейцы, сами флибустьеры подчас одевались по последней парижской моде. Возвратившись из удачного похода, они порой спускали за несколько дней все, швыряя деньги направо и налево, после чего вновь облачались в дырявое тряпье.