居南内兴庆宫，与民间闾闾相近，其西北隅有一高楼，名长庆楼，登楼而望，可见街市。上皇时常临幸此楼，街市过往的人遥望叩拜，上皇有时以御膳余剩之物，命高力士宣赐街市中父者，人都欢忻，共呼万岁。李辅国便乘机借端密奏肃宗道：“上皇居兴庆宫，而高力士日与外人交通，恐其不利于陛下。且兴庆宫与民居逼近，非至尊所宜居。西内深严，当奉迎太上居之，庶可杜绝小人，无有他虞。”肃宗道：“上皇爱兴庆宫，自蜀中归，即退居于此，今无故迁徙，殊佛这圣意，断乎不可。”辅国见肃宗不从其言，乃密启张后，使亦以此言上奏。肃宗恐惊动上皇，也不肯听。张后忿然道：“此妾为陛下计耳，今日不听良言，莫叫后日追悔！”说罢，拂衣而起。肃宗默默含怒，适又偶触风寒，身上不豫，暂罢设朝，只于宫中静养。
辅国途乘此机会，与张后定计，矫旨遣心腹内侍及羽林军士，整备车马，诣兴庆宫奉迎上皇，迁居西内，请即日发驾。上皇错愕不知所谓，内侍奏称皇爷以兴庆宫逼近民居，有亵至尊，故特奉请驾幸西内。皇爷现在西内，候太上驾到。上皇心下惊疑，欲待不行，又恐有他变。高力士奏道：“既皇帝有旨来迎，太上且可一往，俟至彼处，与皇帝面言，或迁或否，再作计议，老奴护驾前去