部右侍郎兼巡抚[11]，负责巡按河南、山西二省。这样，于谦一下子从七品升至三品，足见皇帝对他的极大信任。
于谦巡按山西、河南长达九年。巡按任上，先后平反冤狱数百起，倡建尚义仓[12]和平准仓多处，并督率官民增筑黄河堤障，以防水患，两省因此大治。民间纷纷颂赞于谦，称他为“于龙图”。两省流行着一首长达一百五十四字的歌谣，歌颂“天遣恩官拯二方”。这“恩官”，即是指于谦。
于谦在巡抚任上时，有青年状告姊夫霸占田产。姊夫却说岳父生前有遗嘱，说儿子不是亲生，不能享有田产，并当堂拿出遗嘱念道：“非吾子也，家私田产尽付予女夫，外人不得争论。”于谦取了原件，又问得青年名“非”，心知姊夫想独占田产，判决时，念遗嘱为：“非，吾子也，家私田产尽付予。女夫、外人不得争议。”又考虑到姊姊及姊夫抚幼有功，仍判予十分之三的田产。一时传为佳话。
当时，不仅贪官污吏听到于谦的名字就胆破心寒，就连盗贼响马听到他的名字也远远避开。于谦率从人路过太行山时，为群盗持刀拦截。众人吓得不知所措时，于谦越众上前，厉声报出了自己名号。全副武装的盗贼亦久闻于谦清名，当即闻声而退，成为传诵一时的佳话。