小儿子说得不错，这宅子里仅剩他一个儿子了，自己还真不能拿他怎么样。至于卫氏，她也没直接干什么坏事。要说有错，那也是自己的错，自己听信妇人之言，是自己糊涂。而且，动了她，小儿子怎么办？母亲被休，会影响孩子的名声，他还没成亲呢，刚订了婚。
思来想去，冯老爷只能把怨气报在卫氏的娘家上。谁让他们找了道士来骗自己把儿子挪出去的，谁让他们家送来的奶娘让人怠慢自己的孩子。
他找了个借口，说小儿子的奶娘偷盗，送了官，那奶娘起初还叫屈，后来冯老爷靠近她，低声问一句，“我大儿怎么死的？”她目瞪口呆，然后低下头去。
卫氏到牢里去问出了缘由，也不敢再替奶娘奔走。
这还不算完，卫家独子后来也因为口角打伤人命，卫老爷前来跟女婿求助，人家要五百两，才肯罢休。可是，冯老爷说，“我的长子我都救不了，还哪里有本事救人？”
等卫老爷去求自己的女儿和外孙，他们母子却十分为难，卫氏说，“我一个妇道人家，家产不在我手上。”卫昌盛说，“外公，家业今后是我的，可是，现在还不是。”
卫氏说没办法，卫老爷还能体谅，可外孙是冯家宅子里住的唯一的儿子了，这家业继承人都不肯为