到大面山中，假称遇到仙人，从此修道，不问外事。赵构建极称帝后，也派人来征辟他出山，却仍被拒绝，也只得罢了。
东京那一战，却是姚平仲平生恨事，积郁在心，不能发泄。今日被虞允文提起话头，在这少年好友面前发泄一通，却也是好过了许多。
良久之后，他平静下来，盘膝坐下，手捧弓箭和宝剑，向虞允文问道：“良马思壮士，宝剑赠英雄，我是不会出山了，我看你今日此来，竟有出世济民之意，不如将这良弓宝剑，都送你吧。”
虞允文摇头道：“暂且还要再看，姚兄却也不必着急将宝剑赠我。”
说罢，又将赵桓自五国城逃出后的事迹，详细向着姚平仲说了。说到最后，他叹口气，向姚平仲道：“当日我与官家在那店子里相遇，以我来看，官家神情举止，皆非常人。顾盼之间，英气勃现。只是他往日举措，太伤人意，我也是打算不遇英主，或是老父在堂时，绝不出仕，见着官家之后，竟确实是有些犹豫了。”
姚平仲神情亦是惊诧之极，只道：“官家文弱，当日在东京城内，有雄兵数十万，又有坚城可倚，也是畏敌如虎，怎么敢在阵前击鼓助战？真是怪了。”
又道：“李相公又被起复，只盼能真的能重