在御史台声望甚高，便是不以势压人，也有相当的影响力劝服众御史做什么不做什么。
在谈中立面前碰了一鼻子灰，李绛并没有气馁，又连续约见了几个御史出身、能对御史台众御史产生影响的朝廷大员，设法替李茂做一解脱，结果尽被敷衍。忽有一日有御史当堂奏弹李绛为藩镇奔走说项，有损宰相威仪，有辱朝廷体面。
这名御史虽然不久后便被逐出长安，但众人已经看清了皇帝对李绛的态度。
皇帝是恨铁不成钢，如此亲重的宰相，竟然自甘堕落为李茂奔走效劳，实在是有辱朝廷体面，此例一开，李绛的日子骤然变得不好过起来。
先前他每天都有机会与皇帝独对，中书门下虽有四位宰相，但一切政务都出自他一人之手，现在皇帝不大见他了，中书门下也不再是他一个人说了算。他用的人常莫名其妙被人弹劾，丢官罢职，灰溜溜地滚出朝堂。他做的事总是被无数双挑剔的眼睛审视着，鸡蛋里面去挑骨头。若是天下太平，李绛早已一纸辞呈，挂冠而去了，天子不用他，他也仍是大唐的忠臣，不能待天子为难。但眼下，关中战事未绝，关东十万雄兵滞留关中腹地，李茂又屯兵河东、河中——对李茂的野心，李绛早有警觉，且一直没有放松警惕。