奴来犯，你我身为将领，怎能不前往边关，既已入宫，何不现在就向陛下请命，至边关查看退敌。”赵充国也不想参与到此事之中，有了韩增的开头，明白之后，自然是附和着他的话而言，就这样，两人寻刘病已禀明军情而去。
韩增方回朝，便说匈奴来犯，又在这个节骨眼上，刘病已岂会不知他是何用意，可这理由又不能不放人，只得点头同意，而韩增与赵充国征得圣意之后，一溜烟的功夫，便出了皇宫，整理还未卸下的行囊，又打算上路了。
韩增趁着回府前的时间去了一趟霍府，此次离去，实乃情急之下的决定，此事看似只为一个谥号而已，却是刘病已与满朝大臣之争，以韩增的性格自是不愿意参与其中，如此虽无功，却也不会有过，在朝中处事不求有功，但求无过，况乎此次明摆着是刘病已无理，人家是陛下自不能说什么，如此情况，自是去边关避避为好。
韩增至霍府之时，霍光尚在内阁之中，霍显正巧也已出门，又因韩增的身份，霍府之人也不敢阻拦，只得让他进入府内，他又言是来寻霍成君的，下人自然向霍成君禀报。
霍成君听是韩增前来，咋还一惊，便往前厅而去，“你何时回来的，此次要呆多久？如此大胆来府上寻我，也不怕人误会