一支三千余人的飞龙军由高力士亲掌，李隆基相信这二人对自己的忠心。李林甫之所以与边将勾结，知道自己在京中无隙可乘，转而向外结交了。
李隆基现在既然这样认为，就对躺在棺中的李林甫怀有愤怒之心了。数日后，李隆基颁下《削李林甫官秩诏》，其中指斥李林甫“外表廉慎，内怀凶险，筹谋不轨，觊觎非望。呢比庸细，谮害忠良，悖德反经”，将李林甫废为庶人。一帮如狼似虎的衙役闯入李林甫宅中，他们剖开灵柩，拿走李林甫嘴中所含宝珠，剥去其身上的紫衣金鱼袋，令其家人更换小棺，速将李林甫以庶人礼藏之。李林甫入土后，其儿子们也皆被罢官流入岭南，一个显赫一时的家族从此衰微。
李献忠指诬李林甫，妄图保下命来，最终也成为虚妄。数日后即被斩首，其妻也没为娼女。
李林甫仕宦一生，把持朝政十六年之久（若加上与张九龄同时为相时间，其任宰相职共十九年）。在其为相过程中，多少厉害人物皆被其踏在脚下，他至死都不会相信，一个闲汉出身的杨国忠能将他起于棺中，废为庶人，且全家流放。
李隆基此前对有功宰相甚为宽宏，虽罢其职，依旧礼数有加。李林甫一生劣迹斑斑，毕竟能够娴熟地驾驭着这个庞大的帝国，且能每事过慎、动