原来,由于招抚长沙、零陵等地的图谋失败了,刘巴无法回去向曹操交差,只能一逃了之。在其出逃之前,诸葛亮曾情真意切地写信劝他归顺刘备,刘巴却回复:“受命而来,不成当还,此其宜也。足下何言邪!”毫不犹豫地拒绝了,使“先主深以为恨”。
刘巴逃到越南还不够,怕刘备通过渠道找到他,改姓为张。《零陵先贤传》记载:巴入交趾,更姓为张。与交趾太守士谿计议不合,乃由牂牁道去。为益州郡所拘留,太守欲杀之。主簿曰:“此非常人,不可杀也。”主簿亲自送至州,见益州牧刘璋,璋父焉昔为巴父祥所举孝廉,见巴惊喜,每大事辄以咨访。