拍马之众瞬间倒戈。甚至有人奏请陛下废除太子，一时之间太子极尽落魄。太子将此境况归结为君子之祸，至此，二人的梁子算是彻底结下了。
所谓光脚的不怕穿鞋的，太子无权无颜面，也不再顾及世人看法，闲着无事总要来将军府闹一闹。若是卫衍在。他能在这骂上一天。若是卫衍不在，他总能寻到卫衍去处，跟着过去闹事。
因着太子如此，与君子交好之众无一不受累及。叫苦无门之下，好友之间的聚会急减少，才俊之众私下没少将太子骂个狗血淋头。
太子三天两头上门闹事，将军府鸡犬不宁。这一日太子走后，卫衍过来求见虞氏。方一见面，卫衍便道：“因流之之祸，扰的将军府不得安宁。今日流之是来请辞。”
卫衍话毕，虞氏颔道：“如此也好！金陵风言风语不断，确实应该避上一避。”
此时王羡鱼不在，二人说过请辞之言。虞氏屏退左右问君子：“阿鱼已经与我说了，你双亲可好？”
卫衍颔，道：“阿父阿母如今隐于山中，过的逍遥自在。”
永定侯夫人为前朝公主，是王列嫡亲的姑母。说起来卫衍与王列还是表兄弟。永定侯一家是知晓司马氏遗孤养在王家的，也是因此二人才定下卫衍