许世友1905年出生于新县，现在河南与湖北交界的大别山区，关于他为什么去少林寺，具体原因似已难弄清楚。一种说法是许世友家境贫困，兄妹7个，父母实在养活不了他们，就在逃荒的路上，把许世友送到了少林寺；另一种说法是，许世友的祖母生过一场大病，久治不愈，他的父母便求菩萨保佑，许愿如果老人病好就送孙子出家信佛。后来，老人病好了，世友就被送入了少林寺。第三种说法流传最广，说许世友受当地一个地主的儿子的欺负，两人打起来，许世友失手打死了他，就逃到少林寺里避祸。
许世友进少林寺的时候才8岁，但穷人家的孩子自小就养成了勤奋的好习惯，又能吃苦，因此很招师父们喜欢。许世友的法名叫做永祥，他平时的主要工作就是为师父们端茶倒水，铺床叠被，扫地抹桌，虽然有时事情干不好免不了受师父们责怪，但他依然十分快活，因为师父们天天都教他练习武功。
许世友都练些什么功夫呢？平时，只要忙完了杂活，他就按照师父的安排站桩、摔棍、跑立砖、插沙、运气、打梅花桩等等。许世友练功十分刻苦，不怕流汗不怕流血，又因为是打小练习，因此长进很快，练就了过硬的功底。据说，他臂力过人，刀枪剑棍十八般兵器样样精通，在一同习武的人中相当出众，只要他不带练功用的“重身”沙袋，寺内数米高的围墙几步开外就能飞跑跃上；运足了气，三寸多厚的大方砖一掌就能击碎。与此同时，师父们经常给他讲“十三棍僧救唐王”、少林武僧抗倭等故事，使他自小就形成了义气豪爽的性格和匡扶正义的愿望。
