蒋经国任台湾“行政院”院长后，以亲信黎玉玺换下了年已九十岁的“体协”理事长杨森。为照顾他的面子，给了他“体协”名誉理事长的头衔。杨森对此很不服气，他以九十岁高龄再次登上玉山顶，并在山顶上题字、照相，一时轰动体育界人士，被认为是一大奇迹。台湾和外国记者为此撰写文章，还拍摄了一部杨森的体育运动与家庭生活的纪录片。这样一来，更扩大了杨森在台湾体育界的声誉。
杨森结束官场生涯后，不愿居住在台北市，他在台北县新店镇稻子园买了一座山，修建别墅，在此安度晚年。他喜好古玩、字画，收藏各式武器。同时他还爱好写诗，有收藏手杖的癖好。1972年2月20日，杨森九十大寿，蒋介石派人在“国防部”三军军官俱乐部为杨森布置寿堂。杨森十分高兴，他说：“我一生过得平凡而实在，如果岁月不会催人老，我将继续拿出我的力量，为人生服务。”蒋介石亲书“贞固康强”的寿轴相赠，杨森把它挂于寿堂正中央，以示炫耀。
就在生日会上，另一四川同乡、国民党元老张群前来拜访他，杨森叹息道：“我这个人就是喜欢和年轻人在一起，这样才有朝气。”张群知他“一树梨花压海棠”的心思，便笑道：“那你就再讨(娶)一个嘛。”就这样，十七岁的初中生张灵凤被杨森以招募“秘书”的方式娶进府中。结婚后，国民党元老于右任送来一副狂草：“海誓鱼龙舞，山盟草木知。”九十岁的老人娶了十七岁的小姑娘，能说是“海誓山盟”吗?不到一年，张灵凤居然为杨森生下一女，一时传为海内奇谈。
