1924年秋末，刘伯承和吴玉章等人取道贵州、湖南去上海。期间，他们看望了老朋友熊克武。熊克武动员刘伯承到自己的部队来，刘伯承断然拒绝，两人大吵一架，从此分道扬镳了。到达上海后，刘伯承很快给杨闇公写了一封信，叙说自己的见闻和感受。杨闇公感受到刘伯承的思想进步，非常高兴，在日记中说：“伯承和熊克武不和了。有今后不作冯妇事之语—他的来信。此公已被玉章收入矣，可喜！”
1925年2月，刘伯承与吴玉章坐火车到达北京，访问了吴玉章的学生、中共北京市委负责人赵世炎，以及四川籍中共党员童庸生等人。赵世炎介绍自己的老师吴玉章加入了中国共产党。刘伯承没有立即随吴玉章加入中国共产党，而是继续观察、思考。5月，他们带着赵世炎的介绍信，再次返回上海，拜见中国共产党中央总书记陈独秀和秘书长王若飞，向他们详细了解了中国共产党领导的群众运动情况，对中国共产党的认识又有所加深。
此时，正值“五卅”运动兴起。帝国主义镇压中国工人运动，杀害工人，引起中国人民的强烈愤慨。在中国共产党的号召和领导下，上海20多万工人举行罢工，5万多学生罢课，许多商人罢市。全国几十个城市都暴发了声援上海工人的罢工、罢课、罢市。刘伯承被工人阶级的反帝爱国斗争精神所感染，从中看到了中国共产党的伟大力量和中国的希望，主动向陈独秀提出，参加中国共产党领导的革命运动。6月下旬，刘伯承又随吴玉章从上海经香港到广州，正巧赶上了省港大罢工。刘伯承从轰轰烈烈的工人运动中，再次深刻地认识到了中国共产党领导的反帝反封建革命的伟大意义。这半年多来，刘伯承从西到东，又从北到南，通过实际考察，认定只有中国共产党才是真正地在救国救民，决心跟共产党走。7月，刘伯承随吴玉章返回四川。1926年5月13日，经杨闇公和吴玉章两人介绍，刘伯承光荣地加入了中国共产党。至此，他完成了从革命民主主义者向共产主义者的转变，在党的领导下，为共产主义事业奋斗达60年之久。
