上，临安市民对此装聋作哑，那个时候赵与莒便明白，除了年轻血热易冲动的太学生外，大宋的士大夫阶层和市民和自耕农阶层，对于北伐中原之事还是不够支持。市民、自耕农担忧的是，虽然天子承诺永不加赋，但官府说话不算数是一向以来的习惯，打下中原之后，数百万近千万中原遗民便需要赈济，而这赈济之钱粮，自然是要他们这些百姓承担。官僚士大夫担忧的不仅仅是加赋——因为此事对他们几乎没有影响，他们担心的是，如今天子的威望已经使得大宋朝堂上失去了平衡，天子与士大夫共治天下中的天子这一边过于沉重，而士大夫已经显得轻飘飘的，若是天子再收复了中原，声望远胜太祖太宗，汉武唐宗甚至都有所不及，那样的话皇权必定会膨胀到不可控制的地步，他们这些士大夫便会连现在勉强的平衡都无法维持住。
故此，虽然来自流求的力量对于中原故地的矿山、人口、土地都很感兴趣，可是赵与莒还是迟迟不愿北伐。
而且此时北伐，士大夫、旧军队都不会支持，只能动用流求的兵力财力，胜利之后流求实力也会消耗殆尽，中原地方会靡烂得不成样子，那时赵与莒手中便没有可以同这些旧势力抗衡的力量，更没有力量去重建中原，结果必然是便宜了朝中的官僚士大夫们