杨森在台期间，曾去美国旧金山、洛杉矶、纽约等地旅游，他参观了加州体育馆、好莱坞、内华达州拉斯维加斯城赌场等，并在报上发表了访美观感。杨森以“体协理事会”理事长的身份开展政治的、敛财的活动。台湾体育协进会（后改为“中华民国体育协进会”），是一个民间组织，经费靠募捐维持，杨森就以体协的名义向各方募捐、兜揽生意赚钱。为扩大他在体育方面的影响，他“以身作则”地搞体育活动。他在“体协”理事长任内，以其70岁高龄学会驾驶教练飞机而轰动台湾。他特别喜欢登山运动，每逢星期日无论天晴下雨都要坚持登山活动，他常登七星山、万寿山。在他86岁那年还登上了海拔4000米高的玉山。为表示效忠蒋介石，登上玉山顶时，他高呼：“总统万寿无疆！”驰名中外的大画师张大千特为杨森登玉山作画，并题诗赞赏。
蒋经国任台湾“行政院”院长后，以亲信黎玉玺换下了年已90岁的“体协”理事长杨森。为照顾他的面子，给了他“体协”名誉理事长的头衔。杨森对此很不服气，他以90岁高龄再次登上玉山顶，并在山顶上题字、照相，一时轰动体育界人士，被认为是一大奇迹。台湾和外国记者为此撰写文章，还拍摄了一部杨森的体育运动与家庭生活纪录片。这样一来，更扩大了杨森在台湾体育界的声誉。杨森结束官场生涯后，不愿居住在台北市，在台北县新店镇稻子园买了一座山，修建起别墅，在此度晚年。他喜好古玩、字画，收存各式武器。同时他还爱好写诗，有收藏手杖的癖好。
1972年2月20日，杨森九十大寿，蒋介石派人在“国防部”三军军官俱乐部为杨森布置寿堂。杨森喜气洋洋，尤其是听说许多人称他是传奇式人物，他更为高兴。他说：“我一生过得平凡而实在，如果岁月不会催人老，我将继续拿出我的力量，为人生而服务。”蒋介石亲书“贞固康强”的寿轴，杨森把它挂于寿堂正中央，以示炫耀。参加祝寿的除了高级军政人员外，还有“宗亲会”、“同乡会”的各色人物，及杨森在美国的女儿等亲友，来宾达三四千人之多。杨森身着棕色条花西服，胸佩一朵大红花，坐在寿堂正中，神气十足地接受子孙们的叩拜和来宾们的祝贺。接着抬来一个直径3尺余，厚1尺余的大蛋糕，杨森煞有介事地举起日本式战刀，切开蛋糕分送来宾。
就在生日会上，另一四川同乡，国民党元老张群前来拜访他，杨森叹息道：“我这个人就是喜欢和年青人在一起，这样才有朝气。”张群知他又想“一树梨花压海棠”的心思，便笑道：“那你再讨（娶）一个吗。”
就这样，17岁的初中生张灵凤被杨森以招募“秘书”为名，娶进府中，成了杨府第“十二钗”。
结婚后，国民党元老于右任送来一副狂草，“海誓鱼龙舞，山盟草木知，”90岁的老人娶了17岁的小姑娘，能说是海誓山盟吗？不到一年，张灵凤居然又为杨森生下最后一女，一时传为海内外的奇谈。1977年3月，杨森从菲律宾访问归来，被台北三军总医院检查为肺癌，两个月后，96岁的杨森咽下最后一口气，结束了漫长的一生。
