甫权势正盛，如烈日炎炎，怎么听得进他儿子的忠告。他非常不高兴地回答说：”已骑在虎背上，没法下来啊！“这是实话，他只能在虎背上骑下去。
杨国忠初列朝班之时，李林甫并不在意。认为杨国忠的机智与狡诈远远不是他的对手。及至贵妃杨玉环专宠内宫，满门富贵之后，李林甫想加以抑制，为时已晚，徒唤奈何。刚好其时西南少数民族发动叛乱，李林甫以杨国忠兼任剑南节度使为由，把他逐出朝班，远镇西南边鄙，虽能拥兵自大，总比放他在朝廷碍手碍脚的要好得多。
这时正宠贵妃的玄宗却是另一种想法，为了讨好杨玉环的欢心，让杨氏一家鸡犬升天，正欲授杨国忠宰相之职，怎么能让其永驻边睡呢？所以在杨国忠辞行之日，玄宗特地嘱咐，把边事安置好以后回京，另有任用。玄宗写给杨国忠的一首送行诗中，就清楚地表明了要任他为相之意。李林甫内心虽然十分不悦，但也无可奈何。加之这时李林甫已患重病，力不从心，无法和杨国忠一较胜负，只有唉声叹息而已。
天宝十一年（公元755年）十月，玄宗幸骊山温泉宫，李林甫抱病随行，旅途颠巅之辛劳，使疾病加剧，危在旦夕。服药无效，只得求神问卜。巫者指示回生之法云：”若能见玄宗一面，病可立愈。“家