袁世凯被赶出北京后,并没有回到老家河南项城,因为庚子年袁世凯在任山东巡抚的时候,因严厉剿杀义和团而遭到朝廷大臣的弹劾,结果袁世凯把他的长兄、时任营官的袁世敦拿出来顶罪,结果本已是候补知府的袁世敦,其大好仕途便被袁世凯毁于一旦。
袁世敦灰头土脸地回到项城老家后,不免含恨在心。数年后,袁世凯的生母刘氏去世,但袁世凯希望将生母葬入祖茔正穴的要求却被身为族长的袁世敦(原配所出)坚决拒绝,理由是庶母不得葬入正穴。袁世敦之所以不给当时已是朝廷红人的弟弟面子,表面上看起来是维护族规、嫡庶之别,但真正原因恐怕还是当年旧事,袁世敦明摆着就是要让这个坏他前途的弟弟难堪,以出自己胸中的一口恶气。

归隐期间的袁世凯,每天的生活都很有规律:清早出去散散步,随后与亲戚朋友下下棋;要不就是和一些来访的文人墨客诗酒吟唱,打发落寞的时光。当时的《东方杂志》上曾刊登了一副着名的“披蓑垂钓图”,袁世凯以此来表示自己归隐山林、不问世事的取意。不过,从那幅图上看,袁世凯虽然头戴斗笠,手执钓竿,看似闭目养神,似有决裂于仕途之象;但其凝望沉思,又隐隐作姜太公钓鱼之状。