为了自保他从不与冯玉祥、方振武、阮玄武等皖籍将领往来,也切断了与许多老部下的联系。平日在家诵经礼佛,深居简出,力求免受蒋介石一伙猜忌。但他深知自己和家人受到国民党特工的暗中监视。汪静之、符绿芷夫妇迁离后,空下一间房子。某日,一对自称是盐业银行职员的情侣登门求租。两人衣冠楚楚,口齿伶俐。
柏文蔚阅人无数,看出这俩人是从事情报工作的,他谢绝租房。事后,柏的副官打听到那两个男女果然是蓝衣社的情报员。
据曾秘密加入共产党,并随同叶挺参加过八一南昌起义的爱国抗日将领廖运泽晚年回忆:1935年,他从山东驻地回南京,特地去玄武湖看望柏老前辈。柏待之以礼,留他吃了便饭。交谈中,柏文蔚神色沉重,不时叹息,希望廖运泽将军要理解他的处境,务必不要给他和家人添加政治上的麻烦。廖运泽只好苦笑,安慰了老前辈几句。本想在这儿小住几天的,但经过考虑,他还是匆匆告辞了。1947年2月,柏文蔚辞世于上海,享年71岁。经过多年战乱,抗战胜利后,玄武湖樱洲上的柏文蔚所建的房子,多已荡然无存,同它的主人归隐于昨天的历史。