李辅国封郕国公，掌大权力，宰相李揆对他都执弟子礼，呼为“五父”。李辅国疑心太上皇的亲信阴谋复位，逼迫唐玄宗迁居西内太极宫，贬谪高力士，玄宗竟至忧郁而死。
此时肃宗病危，张皇后欲谋杀太子李豫而立越王李系。李辅国拥立李豫（即唐代宗），杀张皇后、李系。李辅国自此益骄横矣，曾对代宗说了一句流传千古的“名言”，他说：“大家（指皇帝）但内里坐，外事听老奴处置。”此便是司马光所说的：“宠过而骄，不能复制，遂至爱子慈父皆不能庇，以忧悸终。”
代宗时期，宦官程元振、鱼朝恩相继当权，窃弄刑赏，壅蔽聪明，轻视天子，奴役宰相。程元振继李辅国之后，总率禁兵，操纵朝政，冤杀大将来瑱，斥逐宰相裴冕。疑忌大将李光弼，致其愤郁而死；大将仆固怀恩不堪冤抑，却投诉无门，不得已尽弃前功，翻为叛乱。广德元年，吐蕃兵犯京师，程元振隐匿军情不报，虽遭贬黜，然代宗也因此狼狈陕州。鱼朝恩以护驾之功，继起染指军权，亦染指朝政。连“权倾天下而朝不忌，功盖一代而主不疑”郭子仪都遭排斥罢官，赋闲家居。他的眼里自然目无余子了。
德宗即位之初，有意整顿纲纪，因而着手打压宦官。但“兴元”以后，猜忌诸将，剥夺大将李晟、浑