宋子文来到美国后，很快发现美国的官员们并不再像以前那样“友好”。美国的一些官员和记者们津津乐道地谈论着宋子文的各种丑闻，这令宋子文十分难堪和不安。
在第二次世界大战结束后，回顾往事在华盛顿成了时髦的事情。有的美国情报界人士追述道，孔祥熙曾经用了两亿美元的美国贷款在1942年向被占领的上海商人购买货物，卖这些货物的是杜大耳朵（杜月笙）和宋氏家族同日本人共同拥有或者控制的企业。像木头中的蛀虫被鸟喙啄出来一样，这些和另一些新鲜事在闲谈中被挖掘出来，传遍华盛顿，成为人们凝神聆听或手舞足蹈谈论的材料。
美国总统杜鲁门也时常向他的助手们坦率地谈论国民党政府中的“贪官和坏蛋”。1949年5月，杜鲁门听到银行界人士对国会议员说，宋家和孔家确实有20亿美元存在曼哈顿。杜鲁门立即命令联邦调查局秘密调查，以便确切了解钱数和储存地点。
美国联邦调查局仔细查看了宋子文等人的战时档案，了解到宋子文“开始担任公职时财产比较有限，到1943年1月积累了7000多万美元”。宋蔼龄在美国一家银行拥有8000万美元，宋美龄在美国的一两家银行里存了15000万美元。
对于美国人的指责以及秘密调查，宋蔼龄极为不满。她愤怒地离开华盛顿，再次隐居里弗代尔的孔祥熙别墅。
正是在这种情况下，宋子文踏上了美国的土地。他原计划到华盛顿去拜会美国的官员们，但是他很快就不得不取消了这个计划。
6月21日，宋子文通过其亲信贝祖贻转告国民党政府驻美大使馆，说宋子文改变了主意，不准备来华盛顿。后来，宋子文在他的居住地纽约对顾维钧说，“已被华盛顿的共产党分子或同情共产党的分子诽谤中伤到如此程度”，“感到访问首都毫无意义”。
事实上，当时在华盛顿并没有“共产党分子或同情共产党的分子”对宋子文进行“诽谤中伤”。令宋子文伤透脑筋的是美国联邦调查局对他的资产和存款的调查以及记者们的报道。
