清朝军事贵族集团在努尔哈赤时期首先推行“以满治汉”政策，而后调整为“以汉治汉”，直到康熙八年(1669年)才明确地说：“满汉大小官员，职掌相同，品级有异，应行划一。”
用自己教书挣的钱和卖破铜烂铁换的钱回老家赌钱，也是杭世骏的一大乐趣。并且，老先生赌钱从不偷偷摸摸，而是在桥边的公开场合大练手段。有一次，朝中官员钱维城到浙江省视察学政，住在杭州，他作为学中晚辈(乾隆十年考中状元，比杭世骏小24岁)希望与文名正盛的前辈杭世骏见一面。钱维城作为中央派出的官员颇有气派，又时值盛暑，就坐轿子、高撑遮阳伞，往杭世骏住宅去。正过杭世骏日常赌钱的场所附近的望仙桥，也是钱维城眼尖，一眼就看出杭世骏来，只见杭世骏身穿短衣、手摇蕉扇(而不是文人用的纸折扇)，吆五喝六地与“诸少年博正酣”。钱维城下了轿，到杭世骏面前抱拳作揖，说：“前辈在此乎?”
其实，杭世骏的眼睛余光已经看见钱维城下轿，马上不摇扇子，而是用扇子遮住脸，企图混过去。等到钱维城这么一问，他也没了办法，只好讪笑：“你看出我来啦?”
“我正想往前辈住处拜访。”钱说。
“不用去了!我的住处太小，恐怕你的随从连个站脚的地方都没有。”杭搪塞道。
钱一定要去，杭坚决推挡，一番相争后，钱维城让步，坐上轿子回去了。当时，那些与杭世骏赌钱的年轻人一见来了势头不小的官员，一哄而散，大多藏到望仙桥下面去了。等到钱维城上了轿，他们才溜回来，他们问：“你是什么人，连朝廷派来的学使都这么敬重你?”
“我嘛，算是当过官的人。学使是衙门中的后辈。”就这么简单地一说，还是继续隐瞒姓名。“来，来，接着练呀!”于是，一干人等继续吆五喝六地赌了起来。
对待谦虚的钱维城，杭世骏算是客气的了，而对与自己同年中博学鸿词科的刘纶却远不如此。
刘纶在乾隆元年(1736年)中的是头名，在杭世骏得罪乾隆而被开革回家后的六年即乾隆十四年(1749年)，他已经干到“直南书房(兼内阁学士)，授礼部侍郎”的高位。乾隆十八年(1753年)，他服丧期满，又出任户部侍郎。出任此职是正统史书如《清史稿》的说法，民间笔记野史如《清代名人轶事》则记为“特旨以吏部尚书协办大学士”。而不管哪种说法更可靠，反正是回京任高官无疑。刘纶是江苏武进人，武进在长江以南(靠近常州)，由武进去北京，当时以北到镇江而后渡江到扬州打站，较为方便。
