1915年的上海滩，已经是远东的金融商业中心了。各种中外公私银行林立，租界里有花旗、汇丰、三井等实力雄厚、经营成熟的外资大银行；此外，还有 中国银行(行情 股吧)、 交通银行(行情 股吧)等十多家中资银行；旧式钱庄生意的发展势头也很猛。
办银行最需要的是资金。此时的陈光甫虽近乎两手空空，却信心满满。他认为他所计划开办的新式银行，一开始并不需要巨额资金，也不必和其他商业银行较量股份金额的多少。先期集资，然后逐步增加存款，同时增加放款，资金的积聚和运用得当，就可以解决。
1915年6月2日，宁波路9号，上海商业储蓄银行（下文简称“上海银行”）正式开业。开办的资本额名为10万，实则仅为7万，陈光甫的朋友——前洋务派官僚、买办庄得之认股22500元，陈光甫囊中羞涩，只认了5000元，其中有一部分还是庄得之帮助垫付的。这是当时上海滩最穷的一家银行，被人戏称为“小小银行”。开业仪式上，陈光甫不敢办酒席，不敢请同业董事，连银钱公会的董事朱五楼都不敢请。
这一年的年底，一位忽然到访的来客为陈光甫送来了雪中之炭——1万元股金。受托之人正是流亡海外的前民国大总统、当年曾受赠5美元的孙中山，而送钱来的人则为孔祥熙。孙中山慷慨解囊后，宋氏姐弟和其母倪桂珍也投来5000元股金。至此，“小小银行”的资金在半年内已经翻了一倍，达到20万元。
没有官办银行或实力雄厚的银行可作为押借款的道契，也还没有像钱庄那样与洋商银行进行业务往来的资格。这家“小小银行”究竟如何在上海滩闯出自己的道路呢？
当时银行基本都是以权贵巨商为吸储对象和贷款对象，比如北四行中最新派的金城银行，创办时北洋军政官僚和前清遗老的存款占了90％，1927年增资以后，北洋军阀和官僚的投资仍然占一半以上。这种状态极大地制约银行的发展，一方面，银行的资本来源过分依赖于官僚权贵或者政府存款。这种存款非常不稳定，一笔存款的转移就会对银行的经营产生致命打击。另一方面，资金来源的特性使银行不敢也不愿意向工商业投资，他们必须在最短的时间捕捉到最快的挣钱机会，于是，只能投机房地产市场、证券市场或者经营政府公债。
上海银行一开始就把“注重储蓄”放在首位，彻底告别“官商”办银行的传统。通过大量吸收储蓄存款，迅速扩大自己的银行资本，找到发展的通路。陈光甫把“服务”定为上海商业储蓄银行的行训， 他提出六条原则：要不辞琐碎，不避劳苦，不图厚利，为人所不屑，从小做起，时时想办法。
“人争近利，我图远功；人嫌细微，我宁繁琐。”当时的钱庄根本瞧不上小额存款，特别对银元存款，一般连利息都不付。陈光甫特别注重小额储蓄存款，把存户定位为收入不高的中小层社会成员，如一般职员、教员、家庭主妇等等，并在营业室门面、流程和办公方式上力求使银行的形象平民化。虽然都是小额存款，但是由于储户面广，加之资金稳定，集腋成裘，成效可观。
为了吸引储户，上海银行打出了“一元开户”的广告。一天．营业所来了一位不速之客。对方带来100元，要求上海银行为他开设100个户头。银行的工作人员接待了他，一张接着一张地为他填写储蓄存单，一直到填完100张。很快，上行信守诺言的消息很快就传遍了上海。
以社会大众为服务对象的“小小银行”终于在上海滩上站稳了脚跟。到了1936年，上海银行的储户共计15万7千余人，按当时人口5亿计算，那么每3000人中就有一人在该行开户。渐渐地，其他各家银行也开始仿效上海银行的做法，形成风气。陈光甫本人和上海银行也在社会上获得了良好的信誉。
围绕服务时时创新，上海商业储蓄银行推出了诸多的“最早” ：最早推出各种新型储蓄品种，如零存整取、整存零取、存本付息、子女教育储蓄基金、养老储金和婴儿储蓄，发行储金礼券——分红色和素色两种，用于婚丧嫁娶红白喜事；最早在银行中设立调查部；最早开设储旅行支票；最早从事外汇业务和农业贷款；最早使用机器记账；最早将银两与银元并用，最早经营外汇业务。 此外，推行对物信用，开创货物抵押贷款。
陈光甫非常注重向民族工业放款，以利其发展。张骞在南通创办的实业集团——大生集团，就曾得到上海银行的支持。上行的南通分行由此诞生，成为上行最早的分支机构之一。上行的另一个放款大户，是荣宗敬、荣德生的申新集团——申新纱厂和福新面粉厂。
1934年，荣氏兄弟的申新纱厂陷入困境，因债务太多，到期无法偿还。陈光甫联合几家华商银行组成银团，以申新纱厂的资产做抵押，继续放款，清偿了荣氏兄弟的债务，帮助申新七厂渡过了一次最严重的危机。这种雪中送炭的商业行为被业界视为最好的服务。
