对于官府而言，若在太平之时，这里或许为纳赋派役之所，但若是在乱世，官府鞭长莫及，类似此处的天涯海角之地，则变成朝廷的抚远羁绊的治处了。
而如今，正是明清交际之时，大清朝廷虽粗定内陆，但是沿海尚未完全绥靖，且这沿海地区历来就不是个太平的所在，官府对这里的治理和控制很不到位，其控制力相对于内地而言要薄弱许多，因此这里其实就是一个“半法外之地”。
在旧世界的历史上，从晚明起直到大清乾嘉时期，这里一直都是南洋北部海域著名的海盗窝。
历史上曾经叱诧风云的以汉人为主体的两广海盗，无不以香江诸位岛及其附近的海岛为基地，那时的香江诸岛村寨林立，他们之间也是分分合合，各霸一方。
朝廷虽然时有围剿，但大军骤至，海盗们则驾船远遁，大军撤离，则复还生聚，加上内陆不断有流民至此谋生，所以海盗们的事业始终都有生力军加入，因而这东南沿海一带的海匪之患始终不能断根。