曾经所向无敌的劲旅，就仿佛一下子销声匿迹了。朱序镇守淮阴，但他却没有能力控制住这些北府将领，他们带着各自的旧部，分散到了淮南的各个地方，再不是一支完整的军队。司马道子也曾试图操纵他们，但却没有成功。
直到公元390年，孝武帝司马曜任用王恭为兖青二州刺史，以挟制司马道子，王恭召回了刘牢之，北府兵才又重新登场。王恭出身士族，这一点和谢玄相似，于是一些将领来到了他的麾下。但是十分不同的是，谢玄时的北府兵是用来保卫国家的，但这时的北府兵，却是内斗的工具。王恭不能处理好自己和这些下属的关系，引起了刘牢之的憎恨。当他第二次起兵反司马道子时，刘牢之却背叛了他。然后，王恭和他的子弟一并被杀。北府兵的统帅就变成了刘牢之。太原王氏家族，也从此覆灭。
然后桓玄起兵，刘牢之却又背叛司马道子，投降了桓玄。桓玄进入建康，除掉司马道子及其党羽，紧跟着就夺下刘牢之的兵权。刘牢之想再反桓玄，但终于走投无路，自缢而死。接着就是，桓玄篡位，刘裕起兵。不过这时，刘裕的这支北府兵，已经是他重新组建的，再不是当年的那支军队了。在这最后一轮的斗争中，谯国桓氏家族，也成为继太原王氏之后，又一个覆灭的高门。