1945年,美国总统罗斯福病逝,副总统杜鲁门接任。这杜鲁门也十分的瞧不上孔祥熙,他觉得中国的经济事务搞得不好,全部都是孔祥熙的罪过。
蒋介石一直都是靠美国人支持,他一瞧美国总统都是这种态度,不由得倒吸了一口冷气。正在这时候,孔祥熙贪污美金公债案又被揭露了,闹得全国上下一片沸腾。在这种情况下,蒋介石再也不愿意庇护孔祥熙了。于是,他只得命令俞鸿钧接替了孔祥熙的职位。
1945年5月,孔祥熙辞去了行政院副院长一职。7月,他辞去了中央银行总裁和四联总处副主席。到了10月,他又辞去中国农民银行的董事长。至此,他仅剩下中国银行董事长和国民党中央执行委员的头衔。
到了1947年,孔祥熙的日子就越来越难熬,就连蒋介石也对孔祥熙充满了不满和厌恶。无奈之下孔祥熙只得离开上海飞去了美国,从此结束了他十几年的政治生涯。
从1948年开始,孔祥熙和宋蔼龄一直在美国的里弗代尔过起了寓居生活。这时候的孔祥熙混起了美国的金融界,身份则是中国银行纽约市分行的主要董事。