1887 年，段祺瑞以最优等的成绩毕业。李鸿章在给朝廷的奏折中赞扬段祺瑞：“各项操法，一律娴熟，试以炮台工程做法及测绘，无不洞悉要领……”
克虏伯的门生1889 年，清政府拟选拔五个人去德国学习军事。当名单送至李鸿章手里时，李鸿章皱了皱眉，因为名单上五个人有三个是山东籍的，安徽籍的才两人。于是他想到了武备学堂毕业的段祺瑞，将大笔一挥，划去了名单上的一人，把段祺瑞列在名单之首。
1889 年春天，段祺瑞来到德国柏林陆军学院，学习军事理论和各种操练课程。一年后，他们又奉命到鲁尔区埃森克虏伯兵工厂，进行火炮实习。克虏伯家族各种威力巨大的先进火炮，让他们真正感受到“师夷长技”的魅力。
1890 年，清廷特使洪春代表皇帝前往德国埃森探望留学生。段祺瑞及其同学以娴熟的技术操演了各种口径的克虏伯大炮，获得弗里茨·克虏伯的赞赏。段祺瑞和他的同学完成了学业之后，李鸿章又特批这位小同乡一人留在德国克虏伯炮厂学习弹壳加工、炮管膛削、铣磨来福线、灌注优质钢、检验钢材拉力、挤压力试验、各类火炮的型制构造、使用和保养等课程。李鸿章先后两次写信给段祺瑞，勉励他精学苦造，对段给予了很高的期许。
“中国近代第一炮兵司令”
甲午战争， 使李鸿章惨淡经营多年的北洋海军遭到了覆灭， 淮军和湘军也一败涂地，清军的腐败无能暴露无遗。一时朝野上下要求改革军队的呼声一浪高过一浪。在内忧外患和各方面的压力下， 清政府迫于形势， 决定改革军事制度、建立新型陆军。
1895 年，袁世凯奉旨练兵于天津小站，广招贤良，选拔标准是“宿将及有根底之学生”，如段祺瑞与姜桂题、杨荣泰、龚元友、曹锟、张勋、段芝贵等，皆云集麾下。他们当中许多人日后都成为民国的风云人物，而当时最出类拔萃的，还数北洋三杰，即王士珍、段祺瑞、冯国璋，段被称作北洋之“虎”。
段祺瑞在小站任炮营统带，兼随营学堂总监，麾下虽只有不足两千名炮兵，不足一百门炮，却是中国第一支装备正规的炮兵部队，他也因此被称为“中国近代第一炮兵司令”。除了炮兵部队的常务工作外，他还从事了建章建制的重要工作，如《编练章程》、《战法操典》、《训练操法详晰图说》等，大多出自他的手笔。
此外，段祺瑞治军十分严格。一次他的一个老乡有违军令，辗转托袁世凯向段祺瑞说情，他厉声驳回道：“此人是我同乡，我若放纵了他，今后将何以服众呢？”袁世凯由此对他更加爱重，似在王士珍和冯国璋之上。1901 年11 月， 经袁世凯保奏，段祺瑞升为补用知府， 并加三品衔， 同时兼充武卫右军各学堂总办、炮兵统带（ 团长）。此后，段祺瑞步步紧跟袁世凯， 帮他带兵、练兵，镇压农民起义， 同革命党斗争，协助袁登上总统宝座。
