我军要攻克谅山必须另出高招，让越军的希望破灭。
2月27日清晨，谅山战役开始。东集团军首先进行10分钟的火力急袭，然后兵分三路，以一六三师四八七团猛攻扣马山，四八八团进攻四一七高地；一六四师四九一团直取巴外山。当时整个谅山周围大雾弥漫，天上又下着细雨，能见度很差。
我军在坦克引导下发起冲锋，步兵跟着坦克逐次跃进，不断向纵深插入。越军集中“冰雹”火箭弹和高射机枪进行火力打击，关键时刻，我军炮兵进行了纵深炮击，以密集弹着点开辟进攻道路，同时发射大量燃烧弹，为茫茫雨雾中的坦克指示攻击目标。进攻部队也改变了打法，将密集队形组成不同梯队，以营为单位，采用班、排疏散队形，交替掩护，多路攻击。炮兵观察所紧随步兵前进，随时为炮兵提供射击坐标，呼唤炮火支援。步兵每攻下一个制高点，便发射信号弹，炮兵部队则立即进行向上200米火力突击，将越军的下一个火力点置于火网之下。然后，步兵再发起冲击。这样，我军像梳头一样密集推进，拔点攻击，一个个打掉了越军的火力点。
激战至2月28日，谅山外围防御要点基本被全部扫清。我军队从东、北、西三面直逼谅山市区。越军统帅部举棋不定，既没有使用预备队增援谅山守军，也没有下令三师撤退。越军迟迟没有调动预备队进行反攻，仅靠谅山孤城的守军是无论如何挡不住我军进攻脚步了。然而谅山又太重要了，失了谅山，越南首都河内就将直接面临兵锋之下。因此，“金星3师”只有负隅顽抗孤注一掷，在此作最后一搏，实现其豪言壮语与谅山共存亡了。
攻打谅山之前，许世友指示军区司令部：告诉东集团再接再厉，坚决夺取谅山市。
他特别指出，谅山是越南首都河内的北大门，非常重要，是要塞性质，工事坚固，又有山洞。要先用炮火突然猛烈地轰击市区，把军事建筑彻底摧毁，打出国威，打出军威。
他决定打谅山依然用打同登的办法，集中猛烈炮火摧毁敌人的各种设施，大量杀伤敌人的有生力量，而后再用坦克、步兵突击。
3月1日上午9时30分，许世友一声令下，东集团集中军直炮团、163、164、165师炮团、炮26团合计二十多个营的300余门火炮猛烈轰击谅山，急袭30分钟发射炮弹一万余发。地动山摇，房倒楼塌！谅山市顷刻间变成一片火海。 刚刚盖起的越军营房顿时化为平地、城内坚固的军事目标被摧毁、弹药仓库连续暴炸，变电所、邮电大楼、公安厅等建筑被打得千疮百孔，整个供电系统被摧毁，联系河内的通讯中断。
