加以构陷，致岳海楼削职为民。
其后岳海楼便托庇蔡府，一方面为蔡铤整顿私兵，一方面图谋复出。
冯世兆、孟介等人多为西军武将军吏，因犯事难以再在西军立足，或在西军苦无出头之日，被岳海楼为蔡铤招揽进蔡府任为私将。
大越第一次北征伐燕溃灭，岳海楼行刺葛伯奕嫁祸徐怀事败，蔡元攸想杀岳海楼灭口，并将战败之责都推卸到岳海楼头上，以保蔡家权势；岳海楼愤而反投赤扈，冯世兆、孟介等百余人也都追随左右。
赤扈于大同悍起战衅，以摧枯拉朽之势尽歼骁胜、宣武两军主力，岳海楼因功得授行军千户，率冯世兆、孟介、蒋昭德诸将收编应州汉军。
也正因为有冯世兆、孟介、蒋昭德等百余能征善战的嫡系亲信相随，应州汉军在收编之后，很快就具备不弱于曹氏兄弟所部的战斗力。
岳海楼率部随赤扈大军破雁门关南下，仲长卿、高祥忠二人其时在忻州兵马都监司任闲差，随守将阴超投降。
桐柏山匪乱，岳海楼虽然没有亲至，但为查明重重迷雾之下的真相，除了郑恢、董其锋等人所留手书外，岳海楼对桐柏山众人崛起前后的行迹，安排人手作了详尽的调查。
这不仅令岳海楼最早窥破桐