桓温废帝之谋，但事先陈操之未露口风，对此顾悯之也没有见怪，这种事顾悯之不想浸染过深，对于置身权力中枢边缘的三吴大族而言，对司马皇室与当权的桓氏以及南渡门阀之间的矛盾纠葛基本都是持观望态度，只想保有现有的地位就足够，既然陈操之想冒险出头组建北府兵，顾氏也愿意给予有限的支持，毕竟陈操之也算是南人士族，若能执掌兵权，对南人士族地位的提升不无稗益一
次日一早，桓温坐镇台城尚书省。向王彪之示意欲废太宰、武陵王司马稀父子，王彪之道：“武陵亲尊，未有显罪，不可以猜嫌之间便相废徙，公建立圣明，当崇奖王室。与伊尹、周公同美，废徙大事，望宜深详。”
桓温心意已决，他就是要趁废帝拥立新君的余威尚在之时行此事，此时阻力最若拖延时日，反会招致严重后果，说道：“武陵王稀不能率由王度，修己慎行，而聚纳轻剿，苞藏亡命，又息综矜忍，虐加于人，不预加警诫，将成乱阶，王仆射不见梁州司马勋之乱乎？。
王彪之见桓温举司马勋为例，他无话可说了，梁州刺史司马勋正在西川作乱，柚若帮武陵王司马脐美言，照桓温的理论那就等于是为司马勋张目了。
十月初三，桓温表武陵王司马稀诸罪，免去了