1949年，田衡秋带着杨森多年敛集的财富先行逃往台湾，足见杨森对她的信任。不过，未过几年，田衡秋在前往香港探亲时，因突发脑溢血引发半身瘫痪，卧床达二十年之久，杨森渐渐将她冷落一边。田衡秋晚年的生活全靠在美国的女儿负担，才得以走完痛苦的后半生。
第五个老婆萧邦琼，则是杨森长驻泸州时，用同样的手段纳入府中的。萧父本为杨森在滇军任团长时的秘书，一个典型的戎装书生。一次，赴杨森家宴时，萧父带女儿随行。见到美丽的萧邦琼，杨森眼中大放光彩，摸着萧邦琼的头赞叹道：“几年不见，小姑娘长这么大了，模样周正得很呢。”一位善于摇尾逢迎的下属瞥见这一幕，便鼓动如簧之舌，说服萧父将女儿嫁与了杨森。萧邦琼原本就生得艳丽照人，加之自幼入新式学堂念书，又做过教师，比之田衡秋，她表现得更为乖巧，应对接洽也极有分寸。更重要的是，她不似田衡秋那般世故，这在杨森看来，就显得格外纯净，自然钟爱异常。只可惜红颜命薄，1931年，萧邦琼溺水身亡。
陈顺容是其第六妾，是个粗眉大眼的广东女子，原本是三姨太刘谷芳的贴身丫头。一次，杨森酒后乱性，将其奸污，为免落人口实，便将她收在了房中。由于地位微贱，陈顺容面对杨森时总是畏畏缩缩，不善承欢，是“十二钗”中最不受杨森喜爱的一个。稍有不慎，便会被杨森用马鞭抽得体无完肤。这样的生活使陈顺容饱受凌辱，后来得了精神病，被杨森差人用铁链绑着送回了广安乡下，解放后病死于重庆。
第七个老婆名叫曾桂枝，是贵州毕节人。据说，她是杨森妻妾中身材最好的一个，本是杨森养女。早年，杨森率部入黔，在毕节收养了一个无家可归的小姑娘，交由属下代为抚养。流光催出玉人来，不曾想，几年后，当年那个蓬头垢面、孤苦无助的小女孩竟然出落得亭亭玉立，楚楚动人。杨森把她交给刘谷芳当丫环，改名为杨家桂。杨森每日见了这位健康活泼、丰满秀挺的养女，禁不住淫心荡漾。不久，他撕下伪装，全然不顾人伦道德，在田衡秋等的帮助下，迫不及待地为十四岁的曾桂枝“破了瓜”，随后煞有介事地圆了房。
曾桂枝天生机敏，求知上进，杨森便为她请了家庭教师，几年后又不惜血本，将其送往上海、北京等地求学，为的是将来能将这位姿态娉婷的小妾带入社交场，做为自己的装饰花瓶。然而，曾桂枝在上海读书时，情难自禁，大胆追求新生活，与同班陈姓同学相恋。杨森得知后，大为恼怒，设计将二人枪杀于渠县的荒郊野外。
