粟裕对那些勾结日伪、阻碍抗战、残害群众的土匪武装，经多次教育无效的，采取了坚决的打击行动。粟裕认为，非此不能更好地发动群众，非此不足以平民愤，非此不足以严惩汉奸卖国贼。国民党溃军军官朱永祥率众千余人，自称“苏皖游击司令”，名为抗日救国，实则扰民诈财，不亚寇匪。群众恨之入骨，称之为“小日本”。后来朱永祥竟发展到与日伪沆瀣一气，勾结日伪袭击新四军。1938年7月6日，新四军一支队一部与二支队一部在当地民众武装配合下，将朱部一举歼灭。朱永祥被活捉，解送国民政府第三战区司令长官部法办。百姓无不拍手称快。
挺进江南敌后的新四军经过半年多的斗争，在敌后先后建立起了茅山、丹北、横山、江句、句北、小丹阳等十多块小型的游击基地，拥有40万人口。
1940年1月1日，当时在新闻界颇有影响的上海《申报》，刊登了一篇题为《粟裕将军会见记》的文章，作者署名“任重”。文章一开始就说：“在江南游击区里流行着一支歌曲，其中有两句是‘司令将军亲自上火线，弟兄们赶快冲上去’。我想这一定是指粟司令。”文章称：“在日军重兵包围之中，在江南最艰苦的游击区里能与这位后方民众所称颂的游击司令会面，实是十分幸运的事情。”
文章以崇敬的深情，称赞粟裕“率领先遣支队挺入京镇沦陷区”，取得韦岗处女战、官陡门之战的胜利，而且“不断地向日人进攻，一直进攻到、镇江的外围日人的据点里”，“简直要使外来侵略者发抖”。文章作者说，他在南京附近与粟司令会面，差不多每夜秉烛长谈，听粟司令从军事、政治、经济三方面分析江南游击区错综复杂的抗战形势。作者高度评价粟裕这位青年将领对江南大局观察的敏锐，对政治有深刻的认识，军事上深知战略战术，而且深知敌我在政治上经济上以及社会上的实际情况。作者经过“实际的观察与考查”，得出了一个结论：“粟司令不是一个平凡的军人。”他不但“运筹帷幄之中”，而且“决胜千里之外”。
