筵，杨士奇荐高穀及苗衷、马愉、曹鼐四人侍讲读。正统十年（1445年）由侍讲学士进工部右侍郎，入内阁典机务。
明英宗朱祁镇从胡地归国时，千户龚遂荣认为明景帝迎接太上皇的礼仪太薄，特意投书高穀，援引唐肃宗迎太上皇唐玄宗的故事。高穀将投信藏在衣袖中，带入朝中，拿给群臣看，称：“武夫尚知礼，况儒臣乎！”但后来明景帝还是只用一轿二马将兄长迎回了南内。
王、胡、高三人都是几朝老臣，他们的主动致仕对明英宗触动颇大。朱祁镇复辟前，内阁有五名大学士，王文被杀，陈循被贬，萧镃、商辂都被削职为民，内阁只剩下高穀一人。所以朱祁镇很快批准了王直和胡濙告老还乡，但对高穀却颇为留恋，极力挽留。只是高穀去意已决，朱祁镇也无可奈何。
高穀离开朝廷后，闭门谢绝宾客，“有问景泰、天顺间事，辄不应”，显然对朝政之事忌讳极深，朝廷的薄情寡恩，无疑已经令士人心寒。
王直在宣德、正统年间名气颇大，却因同乡杨士奇的抑制，一直未能入阁。作为名望尊崇的资深老臣，始终未能入内阁为大学士，等于没有抵达人臣之巅峰，王直心中是有怨气的。但在夺门之变致仕后，他回到家乡，与下人们一起种地栽树，还感叹道：“曩者