张安世为卫将军，统领未央、长乐两宫卫尉与长安十二门戍卫及北军，任命霍禹为大司马，而只能戴小官帽，无印信、绶带，撤除霍禹先前统领的屯戍部队与官属，紧接着，范明友度辽将军印信和绶带也收回，仅留光禄勋一职，散骑、骑都尉、光禄大夫赵平统领的屯戍军队的骑都尉印信和绶带也收回，并且将统领胡、越骑兵，羽林及未央、长乐两宫的戍卫，皆以亲信与史许两家子弟任之。
至此，曾在霍家的兵权，刘病已对霍家最后的忌惮，都回归到了他自己手中，霍家则空有官职无实权，已然被刘病已架空。
“哪有椒房殿赏赐多，皇后大方，陛下的恩典也不少，我们兰林殿这不过是偶尔罢了。”
“陛下这些日子都在你们宫中，赏赐又多，我看你近来也得的赏赐也不少。”
“你可莫说椒房殿了，霍家现在是什么情况几人不知，也就椒房殿那位自己还端着，谁知哪一日也如前朝陈废后那般……”
宫女的闲谈皆被霍成君收入耳中，不过却是在闻声后，绕道而行了，也未予追究，她们说得何尝无理？霍成君的日子已经随着霍家的失势，愈发不好过，宫中之人也越发没了先前的尊重，只是在她哀求之下，刘病已还是答应让她见见即将离长安