微臣感谢皇上信任，只是如今朝廷宫廷皆动荡不安，微臣若还留在宫中，皇上和张贵妃要承受不少压力。何况如今张贵妃已能够独当一面，宫廷其他女官也能够撑起尚宫之职，还有北京都城即将建成，这几年即可迁都，是时候给新人腾出位置，让她们提前历练了。”
永乐帝不同意，“胡尚宫是朕下旨请来的，靖难之役、朕登基为帝，胡尚宫的功劳朕一直记在心里，朕当年也答应仁孝皇后善待胡尚宫。”
“如今胡尚宫受小人牵连，朕岂能让胡尚宫蒙冤受屈？留在宫廷，就表示朕是相信胡尚宫的，谣言不攻自破，渐渐消失。倘若胡尚宫若就这样退了，外头的小人会以为胡尚宫失去圣心，恐怕一堆人要踩你，朕是从藩王过来的，见惯了捧高踩低，朕不想见胡尚宫受委屈。”
胡善围心想，我们全家回昆明隐居，想踩我的人门都不着，即便有人找上门，谁踩谁还不一定，遂一拜，“微臣年事已高，请乞骸骨，回乡养老。”
永乐帝念及以往情面，倘若就这样让胡尚宫走了，那些靖难的功臣们岂不寒心？故不肯答应，可是胡尚宫执意要走，永乐帝强留恐怕不妥，想了想，找到一个折中的法子，说道：“朕下旨请胡尚宫重新出山，即便要退，也要胡尚宫退的体面，有始有终，不可能