办完事后，杨乃武又去拜会与自己有师生之谊的杭州知府，以修桥铺路是为地方造福为由，请求老师开了一张州府免税公文。回到余杭关卡时，杨乃武佯称自己是商船，刘锡彤的手下便索要高价税银。杨乃武称要回去取银两，将货船抵押在关卡处。但他却没有回家去取税银，而是将免税公文撕成两半后又来找杭州知府。见面后，只拿出半张公文，谎称另半张被欲扣船敲诈的刘锡彤撕去，剩下的半张还是自己好不容易才抢夺回来的。杭州知府得知后勃然大怒，认为刘锡彤撕毁公文，是藐视自己的权威，立即发火签将其免职。
刘锡彤就这样丢掉了官职。过了很久，他才知道是余杭秀才杨乃武从中捣鬼，从此怀恨在心，发誓要报复。以致后来他花五千两银子再捐官时，也一定要做余杭知县，就是为了寻找机会对付杨乃武。不过杨乃武多年来为当地百姓做了不少实事，已经是余杭名震一方的人物，又常把官绅勾结、欺压百姓等事编成歌谣。对于这样一个名气很大的秀才，官府除了说他“惯作谤诗、毁谤官府”外，也无可奈何。
前面曾经提到过，余杭仓前镇是漕米集中的地方。清朝征收粮米，历来陋规极多。比如粮胥量米的时候，斛上之米要堆砌成尖，然后粮胥用脚踢三次斛，溢出之米称为耗米，不许