世族公子，豪杰义气
桓温的家族世代显贵，父亲桓彝曾封过爵，任过宣城内史(宣城地区最高行政长官)，治下太平，深受爱戴。身为“高干子弟”的桓温，也有过一段锦衣玉食，任诞不羁的生活。《世说新语》就曾有一则桓温少年时放浪赌场的小故事：少年桓温很喜欢赌博，可有一次手气不佳，输了很多钱，债主又急等用钱，便玩命地逼桓温还钱。钱倒是很快还上了，可桓温对于输钱这件事很不服气，一心想把本钱赢回来。当时，他在陈郡有个好哥们儿叫袁耽，是个远近闻名的“赌神”，桓温就想求助于他。可是袁耽那个时候正在居丧期间，依礼制不宜外出，更不宜赌博。桓温赢钱心切，就抱着试试看的想法去找他。结果桓温话还没说完，袁耽就一拍桌子答应了，然后迅疾脱下丧服，把丧帽揣在怀里，跟着桓温到了赌场，找到那个债主，要求再赌。债主哪知道眼前人就是“赌神”，心想不过是个小毛孩，根本就没放在眼里，他嘴角一扬，轻蔑地笑着说：“你以为自己打扮成这样就是赌神了?告诉你，除非是袁耽来，否则没人能赢我。”桓温、袁耽不答，坚决要与之赌。债主磨他不过，心想无非是多赢一份，有何不可，勉强答应与袁耽对赌。桓温则在一旁呐喊助阵。结果，几盘下来，貌不惊人的袁耽从十万钱本金一下子赢到百万，债主丝毫没有招架之力。桓温见已赚够，翻了盘，压制了对手，就开始欢呼雀跃，旁若无人，心中不平之气一扫而空。袁耽则把筹码潇洒一抛，神气地从怀里掏出丧帽，砸到债主身上，昂头道：“你竟然连我袁耽都不认识。”说罢与桓温拂袖狂笑而去，债主叫苦连连。
少年桓温，家境殷实，自然能与兄弟们任侠放荡。然而好景不长，公元327年，东晋发生“苏峻之乱”，当时桓温之父桓彝正驻军泾县，发誓扞卫朝廷。在与叛军对峙一年多后，城池失守，桓彝在撤退途中遭奸细出卖，壮烈殉国。死时，桓温才十五岁(一说十七岁)。
桓温得知父亲死讯后，哭得昏天黑地，泪中带血，数日后，他含着泪指天发誓，一定要为父报仇，惩办杀害父亲的恶人。经过多方调查，桓温得知，泾县令江播就曾经参与了杀害桓彝的行动。可这个江播在平叛之后却得到了朝廷的赦免，没有得到应有的惩罚。桓温几次请求官府严惩江播，都无音讯。一怒之下，他决定自己行动，手刃江播。一个十几岁的小孩子要潜入豪府大院杀人，本身就像天方夜谭，更何况江播老辣阴险，他深知得罪人太多，怕仇家报复，终日隐居不出，行踪不定，日夜防备，职业杀手也难以近身。
桓温自知武艺不精，难以复仇，便决定先苦练武功，再寻找机会。他白天拼命练武，刀枪剑戟斧钺钩叉无一不练，晚上就枕着兵器睡觉，天一微微亮就起身继续练习，如此这般过了三年。正当桓温认为时机已成，准备行动时，忽然传来江播病死的消息。三年的努力，眼见就要成为一场空，桓温转念一想，既然杀不了江播，干脆杀了江播的儿子们来祭祀父亲。谁让那个江播生前造了那么多孽，父债子偿，天经地义。于是，他拿上兵器，诈称前来吊丧，进入了江家灵堂。灵堂内，江播的三个儿子正为其父居丧，悲恸不已，丝毫未觉杀气袭来。那桓温甫一进入，便抽出利刃，一下先结果了大儿子江彪，狠狠地为这三年寄人篱下饱受炎凉的生活出了气。江彪这个倒霉鬼还未来得及惨叫，就已经血溅缟素了。另两个儿子一看，惊惶无主，待桓温通上姓名，才知道这是仇家寻仇来了，撒腿就跑。桓温回身一转，大步一迈，刷刷两声，二人双双气绝扑倒，血流满地。父仇既报，桓温镇定而去，将惊恐的吊唁者抛在身后。
