就算不让他如愿以偿，他一定不会甘心。万一他说服皇帝，让某人入阁，我们也无可奈何。倒不如现在让他举荐，谅他还不敢援引小人。这四个到底是我辈中人，何碍？”
杨士奇这才明白杨荣的深意，深以为然。按杨荣的意图，是想预先把一些正直有才干的人引入内阁，培植外臣势力，一旦三杨退位，这些阁臣可以有能力对付王振的势力。只是，杨荣想到这一步棋的时候已经晚了。
到了这个时候，连三杨这样的元老大臣都不得不开始向王振让步，朝臣中的风气不问可知。但只要三杨在，王振仍然不能为所欲为，所以他势必要铲除三杨才罢休。
王振首先将矛头对准了杨荣。杨荣生活作风比较奢侈，好收受贿赂，最容易被王振逮到把柄。靖江王佐敬乘杨荣不在家时，私下送去一些金银财宝。王振得知后，必欲置杨荣于死地而后快。杨士奇不顾年老体衰，亲自为杨荣向皇帝求情，这才避免了灾难。
正统五年（1440年），杨荣请假回福建扫墓，归途中在杭州病殁，享年七十。
不久后，杨士奇请假回籍，王振趁机大做文章。杨士奇的长子杨稷曾经仗势杀人，王振怂恿言官翻案弹劾，阁议不加法办，只以弹章封寄杨士奇。但言官又列举杨稷横行不法的罪状几十