中原会战与长沙会战节节挫败以后，国内外舆论对中国军队群加指责。作为国军最高统帅，蒋介石对来自英美盟国的讥评尤其感受到莫大的压力。7月中旬，美国总统罗斯福致电蒋介石，谓豫湘战事颇减低中国信誉，拟令史迪威直接指挥中国全部军队（包括中共军队）作战。蒋介石对此深感耻辱和刺激。7月21日，蒋对出席整军会议的军委会各部会主官痛心疾首地说：“自从这次中原会战与长沙会战失败以来，我们国家的地位，军队的荣誉，尤其是我们一般高级军官的荣誉，可以说扫地以尽。外国人已经不把我们军队当作一个军队，不把我们军人当作一个军人！这种精神上的耻辱，较之于日寇占我们的国土，以武力来打击我们，凌辱我们，还要难受！”据徐永昌记述，蒋介石当时“声色俱厉，数数击案如山响”，其心情之愤激可见。
白崇禧身为军事委员会副参谋总长，在战略指导方针上始终持有不同看法。鉴于敌我力量悬殊，他不主张国军与日军在正面战场硬拼。他建议将国军兵力转向敌后开展游击，破坏其交通和后勤补给，袭扰和消耗日军。7月26日，白崇禧从桂林致电蒋介石，呈述其战略主张：对敌战法应重加检讨，查岳阳至衡阳铁路约342公里，水路约710公里，公路约720公里，敌军10万以上，补给不足，我于正面既不能击破敌人及阻止敌人，拟请改变战法，转向敌后袭击其辎重，破坏其交通，使敌饥疲无法持久。
而军令部长徐永昌则认为，在目前国内外舆论交加贬议的情势下，国军唯有发愤拼命，打几个胜仗，才能提高地位，扭转国际观感。徐永昌的意见大体上表达了蒋介石的心声。而白崇禧转向敌后开展游击的战略，可能对消耗敌人、与日军展开持久抗战切实有效，但难以在短期内起到对外宣传的作用。蒋介石没有接纳他的建议。
第二阶段的基本战局是，以衡阳为中心，在湘江以东山区（湖南攸县、茶陵、醴陵、安仁、耒阳和江西萍乡、莲花）和湘江以西的丘陵地区（宁乡、湘乡、永丰），永丰，今湖南双峰。双方展开了一场激烈的攻防战。在这一阶段的战斗中，第十军长达47日的衡阳守城战最为壮烈，因而也最具影响。但衡阳守城战只是第二阶段战局的一部分。衡阳周围的增援和解围战，以及湘江东西两翼的攻防战，国军不仅投入了相当多的兵力，而且战斗亦十分激烈，牵制和消耗了日军的大部分兵力。
8月8日衡阳沦陷后，白崇禧从桂林急电蒋介石，建议速将衡阳周围的第四十六军、第六十二军调往桂林，并请将其他部队大部撤至祁阳、零陵至桂林一线防守。从日军的战略意图看，日军占领衡阳后，必将迅速西进，攻取其下一目标桂林。白崇禧的这一部署显然是正确的。蒋介石接电后，让军令部加以研讨。而军令部建议将主力部队仍留在衡阳周围继续攻敌，其理由是：（1）前线撤兵，敌必跟踪深入；（2）激战之后，部队急撤，有溃退之虑；（3）撤兵影响人心与盟军观感；（4）目前态势，地理比较有利，利用现形势打击敌人，较退保桂林有利。军令部还建议蒋介石将白崇禧调回重庆。蒋介石再次接受了军令部的建议而否决了白崇禧的主张。8月10日，蒋介石电令各军反攻衡阳。12日，蒋介石再次训令各军“以攻为守，并袭扰敌后方”。
湖南会战的结束时间，历来以8月8日衡阳沦陷为标志。实际上，在衡阳失守以后的一段时间里，蒋介石仍命令国军继续在衡阳周边地区攻击敌人。直至8月下旬，蒋介石才放弃反攻衡阳的企图，调整部署，开始转向沿湘桂路两侧组织防御。8月24日，蒋介石判断“敌主力向衡阳西郊集中，似有沿湘桂路西犯之企图”；9月1日，蒋介石确悉日军更有深入广西之企图，命令第九战区抽调主力准备参加湘桂沿线作战。9月7日，日军攻占零陵，零陵，今湖南永州。整个湖南会战基本结束。
9月11日，军事委员会筹商湘桂线防御事宜，白崇禧再次力主撤全州兵力以增保桂林，其意以全州既难久守，不必徒作无谓牺牲，并请增兵桂林，担保桂林可守三四个月以上。徐永昌则以现时运至全州弹药，足供三个月之用，而且全州地形较衡阳为佳，尤利于守，似宜定一防守期限，纵即不能如期，亦可令其突围而出。这一次，蒋介石总算接受了白崇禧的主张，但为时已晚。桂林很快亦沦入敌手。
事后分析，整个湖南会战期间，徐永昌主掌的军令部对敌情的判断及其战略部署明显存有缺陷。如前所述，日本担心设在广西桂林的美空军基地对其本土发动空袭，自始即将桂林作为此次作战的最重要目标。但徐永昌一直对日军的战略意图和主攻方向判断不明，且太注重盟军的观感，一意主张节节抵抗，步步阻击，处处设防。而蒋介石基本上接受了徐永昌的意见。结果是，国军防广兵单，顾此失彼，处处都不愿主动弃守，处处都未能集中优势兵力，对日军形成重点防守和重点出击。湖南会战初期，徐永昌和蒋介石对日军攻势和参战兵力估计不足，导致国军逐次使用不充分之兵力。无论长沙、衡阳，均无充足决战之兵，将应参与决战之有限兵力，分用于决战地后方第二线之防守，甚至因对日军主攻方向判断有误，将兵力分用于日军非攻击方面之防守。
