家徒四壁。家人所过的日子实在寒苦，缘于他乐善好施，将所得俸禄多散于故人亲戚。姚崇平素对他的这种行为颇为敬重，另一方面也有些不屑，多次劝诫过他：“卢兄，你的妻子毕竟为宰相家人，他们如此过着叫花子的日子，岂不是有碍官体？你有俸禄，当然可以周济他人，首要者应该让家人过好日子。”
卢怀慎拱手却道：“此为我的家事，请姚相勿虑。”
姚崇只好大摇其头。
姚崇看到今日的卢怀慎大异常态，心知其定是心伤灭蝗，动了佛家的恻隐之心，遂明知故问道：“卢兄，何故为此态？谁又有罪过了？”
卢怀慎大声道：“那些蝗虫虽小，也为生灵。姚相此牒文一出，天下生灵涂炭，实为天大的罪过呀。”
姚崇知道，如此谦逊的人儿若较起真来，不是三言两句就能打发过去的。他就在那里斟章酌句道：“卢兄饱读诗书，当知古时典故。《诗》云：‘秉彼蟊贼，付畀炎火。’汉光武帝诏曰：‘勉顺时政，劝督农桑。去彼螟蜮，以及蟊贼。’则蝗虫实为蟊贼也，若不除之，则殃及百姓。”
卢怀慎大声道：“姚相此说，实为强词夺理。每只蝗虫皆为一条命啊，如今天下的蝗虫，何止亿兆？若如此捕杀，罪过比天还大，罪孽深重啊。”