1952年，国家为了筹建中国人民解放军军事工程学院在全军抽调人才。大连海校虽然不大情愿放人，但杨士莪还是被选中去了这所后来被习惯称为哈军工的学校。他开始在物理教研室，后来辗转到了海军工程系，从事天文测量教学。
朝鲜战争后，中国海军在苏联援助下开始了快速的现代化进程。1954年6月，中央军委批准成立海军潜艇独立大队。面对莫测的大洋，中国人需要了解更多信息。杨士莪如此形容后来自己干了一辈子的工作：“你需要知道海洋里有什么东西，海水与海底有什么特性。要获得海洋方方面面的信息，唯一的办法是依靠声波。因为电磁波、光等，海水的吸收衰减非常强，所以，声波是人类目前掌握的唯一有效进行海水内部远程信息传递的手段，能够了解海洋中的所有有关信息。”
水声应用的最突出例子就是声呐。它通过声波及其转换和处理，完成水下探测和通讯任务。声呐技术还可以用于鱼群探测、海洋石油勘探、船舶导航、水下作业、水文测量和海底地质地貌勘测等。苏联曾经专门将一艘核潜艇改为声呐探测专用艇。
1956年，中国开始第一个“十二年科技发展计划”。这年秋天，学校领导找到杨士莪，让他努力学好俄语，准备改行研究水声专业。他的“水声生涯”自此开启。次年，在该领域一片空白的情况下，杨士莪作为“拔青苗”选出的人才之一，被派去苏联。
利用声呐探测海中潜艇
35年等来中国人自己的南海考察
如今想起这次改行，杨士莪告诉记者，要说当时一点想法都没有“也不实际”。为了学习新专业，杨士莪曾用三个月就能基本看懂俄文教学大纲和参考书。
潜艇上利用声呐进行探测
水声是一个国家海军最重要的秘密。即使在苏联科学声学研究所，四个实验室中的两个也一直没有向杨士莪等中国学员开放。水声科学本身除了进行探测，也涉及舰艇的降噪问题，即减少被声波探测到的几率。1959年，归国的杨士莪以中方副队长的身份第一次参加了水声项目：中苏联合南海考察。那一年，他只有28岁。
这是中国历史上第一次水声考察，也就是用声波描述这片蔚蓝的海洋。这次考察以苏方为主导，依靠苏联设备，“因为当时我方人员对水声都不熟悉，第一次算是初步了解，多了点知识。”杨士莪说。
兴奋之余，他也曾站在船头沉思，何时中国人才能依靠自己的力量进行这样的考察。一直等了35年，杨士莪终于以首席科学家和考察队队长的身份，主导了中国人自己对南海的水声考察。他们从海南岛直抵南沙，一度淡水用尽，只好把船舱里漂着油花的水煮开饮用。
这次在业内众所周知的航行，使中国人掌握了自己国家典型海域的水声环境特点及主要参数规律。“由于海区水文条件不一样，会观察到没有接触过的现象。第一次到一个新的地区，不能全都研究，抓点主要的。”杨士莪回忆说。纺织厂改造成水声厂，考察结果的最直接应用，就是海军的作战训练和未来海战战场准备。
