一六四师和一六五师也突破谅山市区。其中，一六四师四九一团三营直扑谅山省府大楼。 城南高地上的越军以密集火力封锁了路口，炮弹爆炸声震耳欲聋。八连七班长谢中清带领全班，在越军火网中灵活跃进，仅用5分钟就冲入了省府大楼。谅山市省府大楼的办公室里硝烟弥漫，火光熊熊，一片狼藉，省府官员们南逃时丢下的大印摔在屋角，文件、纸张随风乱飘……紧接着，四九一团又攻占了谅山市公安局、国际旅行社、奇穷河大桥……谅山市北区已在我军牢固控制之下。
谅山市分为南北两片，奇穷河以北是新市区，以南是老市区，我军攻克谅山市北区，占领了省府大楼。越南政府肉烂嘴不烂，此时却通过宣传工具向全世界宣布：“中国军队没有占领谅山市！”“谅山市坚不可摧！”
许世友听到这个情况后，坐在作战室里深思着：按照军委的意图，我们对越自卫还击是惩罚性的，是有限目的的行动。拿下谅山市攻占省府大楼，歼灭越军第三师就达到了预定目标。现在越南向全世界宣布，我军没有占领谅山，好像我军无力攻克谅山。在这种情况下，我军应该攻克南市区，戳穿越军纸老虎原形。但这必须请示军委。事有凑巧，正在这时军委发来了“争取自卫还击作战的更大胜利”的指示，与许世友的想法不谋而合。许世友看过电文，高兴地告诉司令部：“通知东集团，准备打过奇穷河。”并命令司令部迅速拟定打过奇穷河的作战计划。
广州军区前指连夜拿出了作战计划，并通知各参战部队勘查渡河地点，准备渡河器材。并命令炮兵向前推进，准备支援步兵、炮兵的火力计划；通知后勤补充弹药和物资。
许世友看了作战计划后说：以命令形式发给有关部队。各部队要奋勇前进，打过奇穷河，占领南市区以南一线高地，向南再进五公里，造成对河内威逼的态势！
外界说，当时许世友已经打红了眼，亲自下令“拂晓攻击开始后，谅山一间房子也不能留”。
事实上何止许世友打红了眼，东线饱经磨难、血染征衣的各参战部队早就已经是地煞星附体，怒火三万丈了，命令被不折不扣地执行了。
在奇穷河上有一座长一百一十八米，宽四米的公路铁路桥，桥下河水滚滚，水深流急。市区南侧的四二八、三九一和文庙三个高地，居高临下鸟瞰全城。越军在这三个高地上配置了强大火力，严密封锁着大桥、渡口和市区。
三月四日清晨，许世友早早地来到指挥部，他首先询问了炮兵的准备情况，询问了越军前线的变化，纵深内敌人的动向，有没有反击的征兆；越军的预备队是不是移动了位置等等情况。当他得知越军没有什么新动向，任然处于防御状态 ，似乎在等待时来运转的奇迹出现。
