可以允，甚至任用海瑞为总督义学之事，老夫也觉得可以为之，但兴办义学专事专设，老夫以为不妥。”
“朝廷虽有专事而辖之政，但义学之事，如何可与仓场，河道，漕运并列？以此专设衙门统之，实是太想当然了。”
“老夫既掌阁部，想起张元辅在位时，致力于淘汰冗官冗吏。老夫不才唯有萧规曹随，增设一衙门朝廷要添多少官吏，耗朝廷多少钱粮，此事不可不慎重，切不可因一时讨好天子之意为之，故而老夫宁可作这个恶人。”
林延潮听了潘晟之言，心道自己真是误会了，潘晟在阁否定此案，并非是出于与张四维争权的意思，而是出于自己的公心。
林延潮问道：“那中堂是以为此策可行吗？”
潘晟缓缓道：“育人之事，兴以文教，短不见利，然功在千秋，当然好事，老夫只是建议，不要新设衙门，若是陛下担心礼部贪墨，就算在礼部内增设一部督之，也比新设衙门来的好。”
“昨日我与元辅争议，让他于新设衙门之事，再与天子商榷一番，哪知他独断独行，于圣上之意一字不改，直接发六科。老夫当场也是大怒，断然不允他如此肆意妄为。今日将宗海找来，与你说一说老夫苦心，也望陛下能够明察老夫之意。”