他说他不反共，他感激共产党的支持和同情，但共产党不能在国民党内谋求优势，压制国民党中的温和派。
武汉政府没有理睬蒋的指责。中央执行委员会撤销了蒋作为政治委员的职务，使其总司令之权隶属于新的军事委员会。
他在国民党中的所有重要职务，都转给了他的对手汪精卫。那时，汪正在从法国返回的途中。该委员会还通过发表公告对他进行谴责。指责他是专制者和独裁者，说他的统治保护“官僚、商人和其他机会主义者”。
按照蒋的说法，是共产国际劝汪精卫经莫斯科回国的。尽管他们之间发生过一些事情，但蒋明显对汪的回国仍抱着希望，认为他的老同事会因汪的回国而被重新启用。汪1927年4月1日回国后的几天里，蒋和汪在上海会晤了好几次。
接下来发生的事情是，根据蒋的建议，一个姓吴的国民党人参加了“清党”会议的讨论，此人是蒋在控制委员会中的忠实信徒。
会议的重点是讨论“清除共产党”的问题。当他们干这件事的时候，一些远离革命的地主和富人发现他们有救了。吴在会上作了报告，报告中对共产党和鲍罗廷进行了攻击。
4月5日，汪同来上海的共产党领袖陈独秀发表了一个联合宣言，重申共产党接受孙中山的三民主义，并且进行了辟谣。因为有谣言说，共产党企图破坏国民军，并攻击租界；而国民党准备解除共产党工人纠察队的武装，并将共产党开除出党等。
同日，吴等人决定“清党”，他们建立了一个委员会研究有关方案。6日，北京和上海是多事的一天。在上海的所有武装集团接到通知，从今以后他们必须按军纪行事，任何反对行动将以叛乱论处。
在北京，张作霖派警察搜查了苏联使馆，使苏使馆人员大吃一惊。
他们在苏使馆中发现的东西，比张本人希望的要多。中共的建党人之一李大钊和另外35名共产党员在那里避难。张作霖当时的外交部长宣布中断与苏联的关系，并且通知苏联人回国。
4月28日，张下令杀死了李大钊及另外19个共产党人。
蒋依然面临着如何使在武汉的敌手溃散的问题。
中央执行委员会撤销他各种职务的消息，使他感到沮丧。
李宗仁也为来自上海的消息所震动，便离开安徽前线来到上海与蒋会面。他到达上海的时候，正值蒋接到第一军军长何应钦要求辞职的电报。蒋说：“如果连第一军都不能稳定的话，那我就无法维持下去了。”
李回答说：“如果你也不干了，那么事情就糟了。当前的危机主要是共产党企图消灭国民党。”他建议蒋马上通电其他军界的支持者来上海“清党”，他自己的第七军可以召集到南京，授权在那里“清党”，蒋接受了他的建议。
4月6日，正是张作霖派警察搜查苏联大使馆的那一天，汪精卫到了武汉。
第二天，支持蒋介石的军官到达上海，他们立即与蒋、李和上海警备区司令白崇禧秘密商议，讨论“清党”问题。
8日，蒋建立了一个临时行政委员会，以取代共产党建立的临时市政会。
10日，蒋及其支持者（自称是清查委员会）举行正式会议，以政令形式通过了各种方案。所有的入党申请暂时停止，任何重新登记的党员必须受到三个月的调查，每个党员必须每两周向其所在支部报告自己的政治活动。会议还决定，取消武汉政府，国民党中央总部迁至南京。
随着为蒋的行为作辩护的“清查令”的施行，蒋开始准备进攻了。1927年4月11日，蒋发布了一项密令：没收2700名共产党工人纠察队员的枪。12日，蒋的支持者采取行动，在广东、广西、福建、浙江、江苏、安徽、南京和上海同时进行“清洗”。李宗仁起了很大作用，如果没有李的支持，“清洗”是不可能的。
然而，上海的详细情况是不清楚的，有关这一事情的报道比较混乱。有一种说法认为，是国民党让当地流氓穿着工人制服，根据约好的信号，这些假工人突然袭击了全市所有工人阶级的组织，并且无论他们是否抵抗，一律将他们打死。
还有一种说法是，蒋在进入上海之前，事先与上海有权势的赌场主、鸦片商、秘密社会的头目杜月笙达成了协议。
据说，青帮流氓屠杀了数千名工人领袖和富于战斗精神的工人。共产党的官方数字是，300人被打死，5000人失踪，一些很有前途的青年共产党干部在那天的战斗中和在13日的总罢工流产后被处决。
