新一军的前身是国民党的税警总团，全称为国民党海关查税缉私之税警总团，税警总团是拿每年摊还八国银行团借款的盐税余款项做给养的组建的用于辑私的力量，但后来却成为了财神爷的私人护卫队，有宋部长撑腰，税警总团，清一色的美式装备，军士待遇也要比其它部队高很多，军官宋子文也大多邀有留美背景的海归军官担任，先后的三任团长温应星、王赓、孙立人都是从美国著名军事院校毕业的高材生。
最初的警税总团约有三万人的队伍。一二八事变前，这支税警总团正式编入国军序列，更名为88师独立旅，由王赓任旅长，赶赴上海前线抗日，在浦东、徐家汇、闸北、清东一线与日军作战月余，有力的阻击了日军的进攻，损敌数千，但独立旅也损失惨重。
此战后王赓旅长因去法租界私会前妻陆小曼而被日军逮捕，被名免职，接替他的是莫雄，此将是张发奎帐下的大将，曾救过蒋介石的命，并同情支持共产党的革命事业。
在印度的新一军
一二八后，又恢复税警总团建制，并赴海州练兵，队伍的战斗力日益增强，尤其以孙立人的第4团是精英中的精英，第4团曾在远东射击比赛中射击前十名中占据七位，业界震惊。
宋子文被逼出国后，警税总团的以原国民党二师师长黄杰接替莫雄，参加了松泸会战、蕰藻浜、苏州河以南防御等战斗，全军将士作战十分英勇，给日军重大杀伤，尤其孙立人的税警第4团在蕰藻浜和大场两处战役中脱颖而出，孙也因作战有功而被提升为第二支队少将司令。
1941年，税警总团改编为新38师，远征缅甸，由孙立人任新38师师长，孙立人将军成为了这支部队的灵魂中坚人物。在仁安羌，新38师用一个团800余人的兵力击退日军33师团4000余人的兵力，解救英军7000余人，这是抗日战争正面战争第一次以少击多的案例。新38师一战惊天下。
新一军进行战斗演示
随后新38师开始了艰辛的西撤印度之旅，到达印度后进行整编，孙立人的新38师和廖辉湘的新22师整编为真正意义上的新一军，（注：但抗战后新22师分家为国民党另一只劲旅新6军，新一军仍以孙的新38师为基干）。
新一军以郑洞国为军长，孙立人任副军长，但事实上因为这支部队是美国人出装备，史迪威将军对这支部队也有指挥权，算是双重领导。随后，新一军横扫缅北，消灭了有包括日军王牌主力第18师团在内的缅北日军，打通了中印通道。整个缅旬作战期间，新一军取得无数辉煌的胜利，歼日军达三万多人，是抗日战争期间灭日军最多的国军作战部队，天下第一军的美名由此而来。
