此事一出，不少官员义愤填膺。
当时户部尚书张养蒙、邓光祚、洪其道、程绍、白所知、薛亨等官员去文渊阁请罢免赵学仕，恢复唐伯元的官职。
张位知道这些人曾与孙丕扬，吕坤交好，在朝中都属于清流，出了名的反对内阁。
事后御史朱吾弼弹劾吏部侍郎赵参鲁包庇赵学仕，给事中戴士衡又弹劾文选郎白所知赃私。
这时吏部尚书蔡国珍终于坐不住，他出任吏部尚书虽为张位所推举，但现在先是文选司郎中唐伯元被弹劾，现在连吏部侍郎赵参鲁，新任文选司郎中白所知也被弹劾，他如何能坐视不理。
于是他上疏天子将责任都揽在自己身上，请求将他罢免。
天子如蔡国珍所愿将他罢免，又以结党的罪名罢了吏部二十二名官。
若说之前陈有年，孙丕扬等也罢了，但蔡国珍是个老好人，却也不容于张位，再加上被罢二十二名官员，满朝上下对张位骂声一片，言其招权示威，将所有过错都归于张位一人。
此刻张位宅中景象可谓一片惨淡。
礼部侍郎刘楚先、右都御史徐作、右庶子刘应秋、给事中杨廷兰、礼部主事万建昆等坐于下首。
但见张位负手叹道：“我在京中二十年