8月13日，蒋介石发表《告中央各执监委员书》说：“本年七八月间，察知一般军人多不能认识党，不愿尊重党……中正以为情势至此，若再恋战，即非党所任命之总司令，而将成武力之傀儡。中正决不愿如此，故决然引退。”同日，蒋介石辞去国民革命军总司令职，宣布“下野”。蒋旋即取道宁波回奉化老家。
此次下野为期4个多月。其间，蒋介石前往日本争取日本朝野各方势力对他的支持；他还与宋美龄结婚，为日后复出并确立统治地位奠定基础。于是，1927年底，当他与宋美龄在上海隆重举行婚礼时，他重返权力中心之旅也就开始了。在此期间，张作霖派人来以检查部队为名，前往山西布置军事，此时阎锡山觉察到此棋是针对自己来的，于是公开与张作霖决裂，通电声讨张作霖，并兵分两路，分别沿京汉线、京绥线攻击奉军，意图从南北两侧袭击北京。刚开始，他的部队迅速占领了石家庄和新乐，后来却在战争中连连失利，被迫兵退山西，据固关、娘子关和雁门关死守。张作霖一时怒气冲天，调集几十万对人马山西大举进攻，但关塞险恶，久攻不克，部队伤亡惨重，最后也只好退出关外。
此时冯玉祥部队也受到奉军的威胁，阎锡山于是和冯玉祥联名请求下野后的蒋介石重新出山，主持北伐战争，共同对付张作霖。
蒋介石下野未及半年，于1928年初复出后，以继续北伐统一全国为目标，看到雄踞山西的阎锡山有举足轻重之势，乃竭力拉拢：1928年 2 月28日，国民政府任命阎为国民革命军第三集团军总司令，3月7日国民党中央政治会议任命阎为太原政治分会主席，3月9日国民政府又任命阎为山西省政府主席。当月，蒋介石统率北伐军对奉军展开全面进攻，第三集团军转守为攻，收复大同，占领保定，并向京津进军。此时第二集团军冯玉祥部人多势众，蒋故意拉阎抑冯，于6月4日通过国民政府任命阎为京津（后称平津）卫戍总司令，并让第三集团军部队先行入京，天津亦和平接收。
至此，阎锡山在北伐中掌握了晋冀察绥四省和平津两特别市的军政大权。10月19日，国民党中央政治会议任命阎为内政部长（由赵戴文代理）。阎锡山从此与蒋介石、冯玉祥、李宗仁齐名，成为雄踞华北的军阀。对于阎锡山当年对山西的贡献，中外舆论还是给予好评的。如1930年的《时代》就曾这样评价他：“作为山西省的‘模范督军’，阎实际上耸立在一个独立王国之中——处于各军阀的包围之中。尽管目前晋西南地区还存在粮食短缺，但阎为1100万人带来了繁荣，在中国，他们最富裕，因而使他显得出类拔萃。阎的嗜好不是女人、酒、鸦片，甚至也不是金钱，而是优质的道路、纺织、防御部队、维持秩序的警察，发展优良的牛、马、耕具、家禽、肥料——所有能为他的乡亲直接带来好处的事物。”
