只之后，港内停泊的战舰在稍晚时刻遭受伊朗战舰的袭击，为防止蒙受不必要的风险，比贾布尔苏丹为船队准备大量的纵火武器，两艘卡拉克在战事最开始就遭火船焚毁。

运输船只运载的比贾布尔军与萨法维水兵一同上岸围困堡垒，守军使用火炮还击，却没能击退已经上岸的敌军，敌舰队还继续漂浮在水面上。

而堡垒外墙上的垛墙则因炮击遭受严重破坏，难以为守军良好的掩护，上岸的海军火枪手在对射中逐渐占据上风。

这样的战斗一连持续数日，等到守军不再射击之时，比贾布尔士兵使用长梯通过前几日被填平的壕沟，爬上堡垒墙体入内与守军搏斗。

堡垒内的战斗比先前更加激烈，比贾布尔士兵多次攻入堡垒主楼却被赶出，葡萄牙射手此时敢于透过主楼的窗口对外射击，让被攻占的外墙也不安全。

为了粉碎残余守军抵抗，指挥官下令将全部载来的纵火物搬上岸，比贾布尔士兵将这些纵火武器全部施加给堡垒主楼，海军火枪兵端枪对准门窗，向所有的疑似人影射击防止内里有人逃出。

火势持续近一日，负责指挥此次围攻的军官们认为堡垒不会再有幸存者，着手组织撤退。

安贾迪普岛的葡萄牙守军全军覆没的消息直到半个月之后才被路过的商船带到科钦，这让副王和其他葡萄牙军官大为惊骇。

阿尔梅达深知葡萄牙在印度洋的地位和威望建立在无法反抗的武力之上，他必须采取反制措施以稳定附庸和盟友的信心。

葡萄牙堡垒被比贾布尔军摧毁的消息让反葡萄牙的穆斯林商人和印度港口收到鼓舞，这些法兰克人并非不是不可战胜的。

卡利卡特扎莫林还为此遣使前去比贾布尔为优素福汗祝贺，并希望能与他就对付这些葡萄牙人一事上达成共识并进行合作。

印度洋的1506年就在葡萄牙的两次受挫中度过。