到后来虽然采取了一些措施进行维修，但是毕竟是地基不行，再有乾隆年事已高，也不适合再登高了，这要是把他摔了，谁负得起责任啊，所以后来在嘉庆年间就把望蟾阁拆毁了。拆毁以后就建成了涵虚堂，吸取了上一次地基的教训，这次把它由三层改成了一层，但是1860年的时候涵虚堂也被八国联军烧了，烧了以后，光绪的时候重建，又把它按照嘉庆年间的样子原样重建。等到慈禧太后在昆明湖检阅水师的时候，就是在这个地方检阅的。
所以说实话，慈禧也没见过以前的建筑什么样，还甭说慈禧了，就连咸丰也没见过，道光皇帝恐怕也没见过。所以当时就按照嘉庆时期的样子修建，因此这个建筑不存在以大变小的问题。实际上涵虚堂就是完全按照嘉庆时期，按1860年之前的样子修建的。放眼整个清漪园也只有涵虚堂一个建筑属于这种特殊情况。站在南湖岛上向北眺望，万寿山上的佛香阁显得君临天下，十分突出，殊不知在乾隆年间，在万寿山左肩上还有一座显赫的高层建筑——昙花阁，阁的四周各有一座高大的牌楼，五光十色，与佛香阁遥相呼应。如今这座楼阁的位置上是一个平淡无奇的单层殿宇——景福阁。相传每年七月初七祭牛郎织女、八月十五中秋节赏月、九月初九重阳登高，甚至阴天下雨“过阴天”，慈禧首选的地儿都是这里，可见慈禧对这里的喜爱。
这景福阁的前身，就是乾隆时期修建的昙花阁，文献记载，昙花阁的平面是仿照佛经里“六瓣昙花”的形状，内供普贤菩萨，设计精巧无比，这让后人百思不得其解：这座在中国建筑史绝无仅有的楼阁到底是什么样子？
