程潜刚一撤退，土肥原就重新占领了兰封，并立即向仅有50公里的开封进攻，开封失守已成定局。
郑州岌岌可危。这么快被土肥原逼到城下，这是蒋介石根本没料到的。蒋介石决定孤注一掷，扒开黄河。1938年6月3日，土肥原猛攻开封，蒋介石怕开封失陷，再扒黄河就来不及了，就急忙打电话命令程潜掘堤，并告诫他“要打破一切顾虑，坚决去干，克竞全功”，不要有任何的犹豫。花园口决堤的任务由守卫黄河的国军商震的部队执行，地点首先选在了中牟县境内大堤较薄的赵口，因赵口流沙太多，没能扒开。蒋介石知道赵口无望扒开后，就指示再换地点重新决堤。经过紧急协商，驻守在黄河附近的新八师初步把地点选定在赵口以西的花园口附近。在此过程中，蒋介石担心手下执行消极，一再通过口谕、电令催促手下扒堤，不要有“妇人之仁”。
1938年6月9日凌晨，经过两天两夜不停的挖掘，几乎在距郑州30公里的中牟失守的同时，花园口也终于挖开了。
水中的日军车辆
花园口决口后，黄河水顺着贾鲁河迅速下泄。第二天，黄河中上游普降了一场暴雨，黄河水量猛增，花园口决口处被冲大，同时被淤塞的赵口也被大水冲开。赵口和花园口两股水流汇合后，贾鲁河开始外溢，漫溢的河水冲断了陇海铁路，浩浩荡荡向豫东南流去。
日军被黄水阻隔后，就放弃了从平汉线进攻武汉的计划。他们退守到徐州后，南下到蚌埠，过淮河，再到合肥与日军其他部队会合，又开始从长江北岸进攻武汉。
黄河改道，虽然为国民政府争取了喘口气的时间，但到了1938年10月，花园口扒开后第4个月，武汉仍然失守。花园口决口终究没有挽救武汉失陷的命运。
由于百姓没有及时疏散以及洪水引发的瘟疫逃荒等情况，有很多人死在了洪水中：比如据闫景文回忆说：“6月9日的晌午，忽然洪水就涌了过来。几分钟的工夫水就涨到齐腰深。没过多久，大水呼啸着冲下来，几米高的浪头跳起来，我的姑姑一家7口人眨眼间就被黄河水卷走了……”
再如据1938年7月5日的《申报》（香港版）报道：“黄水肆虐，污坑遍地，蚊子多，死尸多，难民们又经常露宿在外，遂致瘟疫流行。患霍乱、伤寒、痢疾的人很多，特别是得了霍乱，上吐下泻，有的人半天时间就死去。花园口决堤不久，在黄水包围的开封就发生了霍乱，死亡者众多。”
根据韩启桐、南钟万于1948年出版印行的《黄泛区的损害与善后救济》提供的数字，从花园口决堤到1947年堵口，九年间黄泛区河南因黄泛而死亡人口有325598人，江苏死亡人数为160200人，由于安徽省并没有详细的统计数据，所以他们在书中根据河南与江苏的灾区人口死亡比例推算出安徽死亡人口在40万左右，因此他们得出黄泛共有89万人死于黄泛的结论。
水中的日本兵
根据1945年12月国民政府深入豫皖苏泛区进行的灾情调查结果显示：“河南黄泛20个县截止到1944年底，共淹毙人口325037人，逃亡人口约631070人。”可见韩启桐、南钟万二人所引河南与江苏的死亡人数还是比较准确的。但他们关于安徽死亡人数的推算并不确切，因为安徽的受灾面积、受灾程度和受灾人数都比河南小，但其测算出的死亡人数却比河南死亡人数还要高8万人，这有些夸张。至于安徽到底死了多少人，至今仍无法查实。而1938年当年因黄河决堤造成的直接死亡人数，由于当时调查环境所限，更是无法查实。
决堤之后，突入豫东地区的日军对奔涌而至的黄河水猝不及防，有的被洪水淹没，有的为伤病所累而被丢弃，还有一部分为中国军队所歼灭，其他的只好停止追击，集结于黄泛区以东。
东史郎那时是侵入豫东的日军第16师团第20联队上等兵。在他出版的《东史郎日记》中记载，早上，他刚支上锅准备吃早饭，军队中便传来了“敌人炸毁了黄河堤坝，大队及时疏散”的命令，士兵们紧急转移，没跑两步，便发现湍急的浊流滚滚而来，冲走了一个个村庄……
在此后十几天的日记中，东史郎详细记载了日军和后勤部队失去联络、给养断绝、被中国军队紧追不舍的情形。
惊魂未定的东史郎等士兵们才登上火车，一路退到了安徽境内。
花园口决堤之后的一个月内，中国军队开展了反攻，豫东地区的日军基本得到肃清，日军被迫逃往豫皖交界处。
后来，在谈到黄河决堤所带来的战斗人员伤亡时，日军承认“曾受相当损失”，从中日双方所披露的材料来看，这个数字从7000人至20000人不等。
黄河决堤给日军带来的重创不仅仅在占领区的缩小和部队减员上，更为深远的影响是，日军预期的进攻路线被打破。豫东战场渐渐冷却下来，穿越豫东大平原的新黄河就成为军事分界线，把日军阻隔在黄泛区的东面。直到1944年日本发动打通大陆交通线战役，郑州才被他们攻取。当时的形势，人们必须在中原沦陷、既而导致整个大后方沦陷、中国被亡国，还是炸开花园口保住中原两个糟糕的选择之间做出选择，只有“两害取其轻”。但是花园口决口，当时直接淹死和饿死的群众多达89万人，是日军在南京大屠杀中所杀中国军民的三倍，占八年抗战中中国损失的3500万人口的2.5%，而日军伤亡只有1000多人，花园口决口造成了历史上人为的一次大灾难。
