下来，弄回杭州那边当了个浙西观察使的位子，还美名其曰说“此乃吾根本之地，当以外戚任之！”只是这杭州刺史却是吕方的一个族人，将这个浙西观察使架空得半点权力都无，可怜钟延规连出趟城都要得到身边长史的同意，也就比囚犯好点。就这般在杭州被憋了四五年，吕方平定了南方大部之后，方才将其放出来派到吉州当了个团练使，借助钟延规对当地情况的熟悉，让其领兵对付马楚。此时的钟延规就算本来有万丈雄心，面对吕方大势已成的现状，也只有拼命多立点功，为将来吕方***行赏的时候勋爵高上那么点的心气了。
可不知是什么原因，霉运自此就黏上了钟延规，此时他在吉州所领之兵虽然也有四万，但其中的新军却只有三千，对面的楚军将领却是楚国名将吕师周，此人深得蛮夷之心，麾下的蛮夷义从精悍非常，加之这些年来用兵越发老辣，几番交锋下来，着实让钟延规吃了好几次亏，眼见得时日流逝，而他却寸土未进，钟延规心情不由得越发败坏起来。
这天钟延规躺在帐中饮酒，看着亲兵相扑取乐，那两个亲兵脱得赤条条的，全身上下只穿了件犊角裤，各自使尽了浑身解数，在主帅面前卖弄本事，想要也能让钟延规笑上一笑，也好得些恩赏，可钟延规却只是一杯一杯的灌下