一1948年春夏之际，有三座省会城市被列为我军的攻击目标：华东野战军粟裕部作战范围内的山东济南、东北野战军林彪部作战范围内的吉林长春以及华北军区徐向前部作战范围内的山西太原。
毛泽东将目光投向了济南。济南北靠黄河，南倚群山，重要的战略地位使这座古城变成了一座军事要塞。此刻，济南城内驻守着王耀武部9个正规旅、5个保安旅和特种兵部队，兵力约10万。同时，其南面还驻扎着邱清泉、李弥和黄百韬的3个机动兵团约17万人。一旦济南受到攻击，他们随时可以北上增援。
1948年7月16日，毛泽东一天之内起草多封电报，发至华东野战军，催促发动攻击济南的作战行动。
毛泽东的催促令粟裕很是不安。粟裕经过缜密考虑致电中央军委，提出目前攻击济南尚有困难，建议休整一个月，然后集中华东野战军主力发动济南战役。
中央军委回电，同意粟裕部休整一个月，但需提出休整完毕后的作战计划。
粟裕提出初步战役设想后，建议中原野战军主力向信阳或南阳汉水流域进击，吸引黄维的第十二兵团南下，使其不易北援；陈谢兵团在郑州附近发动攻势，牵制孙元良的第十六兵团，使其不能东援。
但毛泽东认为粟裕仅用两个纵队攻打济南显然兵力少了，而且，他对粟裕预想的打援计划也有异议，认为采取尾追分割的办法不妥，建议在运河两岸设置伏击战场。
粟裕表示坚决执行军委的部署。同时，粟裕要求调苏北兵团主力参战以解决兵力不足的问题。8月22日，中央军委来电批准苏北兵团除在苏北留两个旅之外，其余两个纵队加一个旅全部北上参战。
至此，“攻济打援”的作战方针基本形成。
粟裕计划9月16日发起攻击，预计15至20天攻克济南。
济南攻坚注定要付出巨大牺牲。1948年8月25日，毛泽东致电粟裕、谭震林，指定正在养病的许世友担任济南攻城部队指挥员。毛泽东看重的是许世友勇猛的作战作风。
接受任务的许世友迅速赶往山东兵团司令部。他认为，济南攻坚必须像杀牛一样杀其要害，对济南守军要采取“牛刀子战术”：集中兵力和火力，东西并举，数把尖刀冲开血路，向守军的心脏凶狠地剜下去。许世友给攻城各部队提出的要求是：不能摆困难，不能找借口，各自解决自己当面的问题，任何时候都不能停止攻击！
