清朝军事贵族集团在努尔哈赤时期首先推行“以满治汉”政策，而后调整为“以汉治汉”，直到康熙八年(1669年)才明确地说：“满汉大小官员，职掌相同，品级有异，应行划一。”
说杭世骏“语中挟私”也不无道理，因为在朝为官的他深有体会：皇上召见时，满族官员自己不等点名就自主进殿，而汉员则必等点名，此足以说明“满贵”而“汉贱”。也正是这点儿“私心”即如此体会才促使他把问题上升到国政层次去讨论，更何况前代名臣魏裔介对此问题已有所涉及呢?所以，当时与杭世骏相识的人都看到他乐观的情形：他交完论文后，有点得意忘形，想与同僚们一起喝一壶。
在皇帝那边呢?大内人士后来传出消息说：皇上看了杭世骏的论文后大怒，把论文扔在地上好几次，扔了又捡回看，看了又扔，真是气坏了!
杭世骏这边酒饭未备，大内就传出旨意将他开革，赶回老家去。若是一般的等闲人物，笑容肯定要冷冻在脸上，是为哭笑不得。然而，杭世骏毕竟是博学鸿词科选上来的超级才子，他对惊恐不已的同僚们说：“怕什么呀?就算是砍头也会拉到闹市口去砍，污染不了此处我们同住的官寓。”
难得自由身!杭世骏回到老家仁和县(今杭州)不久，很快转到扬州，在一所叫“安定书院”的民间学术机构讲学，一干就是几十年，从无倦色。教书的同时，他还写书、画画，好不自在!既有自由，就难免放纵，如嗜钱好赌就成了他的经典表现。
杭世骏好钱确成癖症，比方说，他每月从书院发给的工资里取出官方正版、品相又好的三枚钱串起来，放在床上，时间一久，积攒了有一尺之厚，还有，他还把收敛破铜烂铁和民间私铸的杂钱，每每倒腾一遍，就弄到了“两手非墨污即铜绿盈寸”的地步。
弄到“铜绿盈寸”的传说也许有些夸张，但以教书著书为业后的杭世骏嗜钱成癖却从不贪图非分之财。有一次，一位商人得罪了管其行当的官员，而该官员一向佩服杭世骏的为人，所以，商人就去杭世骏那里求情，“夜半走先生所乞救，并置重金于案上”，没想到杭老先生一挥手将钱袋给扔出门外。
