越军“金星3师”依托防卫阵地节节抵抗，其炮兵部队与中国炮兵打起了对攻，谅山之战成为了对越自卫还击战中最激烈的战役。在中国军队进攻的主要线路铁路沿线附近，分布着大小石山和279高地等几个山头制高点。越军以高射炮、高射机枪和重机枪组成密集火力封锁了进攻道路。
中国军队发起数次进攻，伤亡很大而进展缓慢。在加强了炮兵火力支援后，489团推进到了大小石山脚下，488团也包围了279高地。因守敌火力过于密集，互相支援侧射，进攻至傍晚，中国军队仍无法得手。
3月2日晨，中国军队改变战法。在进行了10分钟的炮火急袭后，坦克部队和炮兵部队进抵前沿，以猛烈炮火压制越军火力。同时，中国军队分成多路集群，同时向大小石山、279高地发起攻击，另以一部沿铁路穿插奇穷河大桥，准备截断北市区守敌退路。争夺大小石山的战斗极为激烈，为消灭越军火力点，中国军队把坦克和直瞄火炮前推至距敌500-800米处，进行猛烈的抵近射击，压住了越军火力，从而掩护步兵以小群多路从侧翼接近。各个山头上越军的碉堡、岩穴成群连片，中国军队在炮火掩护下奋勇迫近，利用炸药包、爆破筒和火焰喷射器，一个洞一个洞地拔点攻击，逐渐占领表面阵地。
激战至9时45分，小石山被攻克。依托小石山阵地，中国军队加快了进攻速度，一面以炮火居高临下压制大石山之敌，另一面发起多路进攻，使越军四顾不暇。至上午11时，大石山和279高地也被攻占。与此同时，另一部中国军队沿铁路穿插跃进，经几度混战，直插奇穷河大桥，堵住了大桥以北地区的越军的退路。
