谁知事机不密，被幕府侦知，大索长崎搜捕众兄弟，于是颜思齐不得不带着众人驾着十三条船仓皇出逃，驶至九州西海岸的外岛洲仔尾，居然正好撞见杀了陈衷纪亲戚的红毛鬼——他们海况不熟，搁浅了。
颜思齐和众兄弟早就知道陈衷纪这段公案，怎会放过这么好的报仇机会，于是一番苦战，红毛鬼们魂归地府，而颜家船队里多了一条西班牙大帆船。
从倭国归来，颜思齐带着众兄弟在大员岛立足，继续做那有本钱的买卖和没本钱的买卖，同时收拢福建沿海无地贫民垦殖大员岛，短短两年时间便在大员岛北面安顿了数千人，终于使腥膻遍地、刀耕火种的大员岛有了一线文明的曙光。
在陈衷纪的眼中，颜思齐是位极为仗义、敢作敢为的大哥。正是他亲力亲为，不管是海上的没本钱买卖儿，还是帮着贫民们垦殖，凡事都是冲在第一个；而且他对众位兄弟从来都是一碗水端平，做人做事那叫一个敞亮，所以包括陈衷纪在内的大多数兄弟对他是死心塌地。
也正是大伙儿都服气颜思齐，所以大员岛上的山寨那几年好生兴旺，各色船只很快就增加到了三百余条，和南洋马尼拉和巴达维亚的红毛鬼狠狠干过几仗后，从大员到倭国的海面上，除了澳门佛郎