李鸿章为人傲慢，李鸿章游园被罚款一事，背后的水很深。从此，李鸿章的态度保守多了，尤其是对他曾经支持过的维新运动。
咸丰十一年(1861年)夏，西乡团练头目得知曾国藩就任两江总督，安徽人李鸿章在幕中主持机要时，就公推曾任李文安幕僚的张树声向李鸿章、曾国藩上了一道禀帖，洞陈安徽形势，并表示了愿意投效的决心。曾阅后大为赏识，亲笔批示“独立江北，真祖生也”。由于庐州团练的这些基础和李鸿章在当地的各种关系，淮军的组建、招募比较顺利。
李鸿章首先通过张树声招募了合肥西乡三山诸部团练。接着，又通过前来安庆拜访的庐江进士刘秉璋与驻扎三河的庐江团练头目潘鼎新、吴长庆建立联系。潘、刘自幼同学，又同为李鸿章父亲李文安的门生，吴长庆的亡父吴廷香也与李文安有旧交，自然一呼而应。同治元年(1862年)春节过后，淮军最早的部队树(张树声)、铭(刘铭传)、鼎(潘鼎新)、庆(吴长庆)四营(淮军四字营或四大营)即陆续开赴安庆集训。与此同时，李鸿章还命令三弟李鹤章回合肥故乡招募旧部团练，响应投军的有内亲李胜、张绍棠，昔年好友 德模、王学懋，以及父亲李文安的旧部吴毓兰、吴毓芬等(这些东乡团练与西乡周盛波、周盛传兄弟的“盛”字营，均属第二批成军的淮勇，后由陆路陆续开赴上海)。
首批四营淮军抵达安庆后，曾国藩极为重视，亲自召见各营将领加以考察，并亲为订立营制营规。曾国藩担心新建的淮军兵力太单薄，还从湘军各部调兵借将，其中整营拨归淮军的有：
