《庄谐选录》载：胡雪岩一次经过一家裁缝店，见门口一个苗条女子很是上眼，就盯住多看了几眼。那女子觉察之后，急忙关门进入屋内。胡雪岩的自尊心受到伤害了，于是派人拿了七千元向其父亲提亲要纳其为妾，女子之父见钱眼开答应了。胡雪岩择日将这女子娶回。在新房里，胡雪岩自己喝着酒，然后让新娘子裸体躺在床上，又让仆人在一边高举着大蜡烛，他来回踱步看着这新人，放声大笑说：“前几日你不让我看，我偏要看。现在你还有什么办法阻止我？”说完推门而去，到别的小妾房中过夜。第二天派人对这女子说：“这间房中所有的物件都可以拿走，你可以改嫁他人，这里没有你的位置。”
吴沃尧《二十年目睹之怪现象》，叙述了胡雪岩独特的生意经。六十三回写道：“他那经营手段也实在厉害，因此一年好似一年，各码头都有他的商店。也真会笼络人，他到一处码头开一处店，便娶一房小老婆，立一个家。店里用的总理人，到他家里去，那小老婆照例是不回避的。住上几个月，他去了，由得那小老婆和总理人鬼混。那总理人办起事来，自然格外巴结了。所以没有一处不是发财的。” 《胡雪岩外传》说他的杭州豪宅，文石为墙，滇铜为砌，有的墙壁是将细瓷碗打碎，捣成细瓷砂涂抹，可以千年不朽。园林巧夺天工，楼阁玲珑，云屏绘锦，绿暗瑶香，耗资巨万，豪奢无匹。据当时的《申报》报道，有个外国官员到杭州，宁愿住在胡府也不去官方的迎宾馆。胡雪岩姬妾成行，号称“十二金钗”，分住院内长弄中各楼，按序各占一室。到了晚上，侍女端上盛有各姬妾牙牌的银盘，胡雪岩随手翻一个，侍女就按牌上名字叫这个姬妾侍寝，宛如皇上翻牌子一样。胡雪岩每天早晨起床，由佣人端上用翡翠盘盛着的青黄赤白各色宝石若干枚，让他“养目”。每日合家大小还要鹭序般的去上房恭请晨安。至于唱戏打醮，摆酒张筵，无不穷极奢华。胡雪岩喜欢和众多的姬妾一起嬉戏、玩乐。他让诸妾穿上写着“车”“马”“炮”字样的红蓝马甲，登到在高台上画好的棋盘，红蓝对峙，胡雪岩和夫人在栏杆后用竹竿指挥她们，“下活棋”。胡雪岩和他姬妾一起过着肉林酒池、欢歌盛宴的奢靡生活，享乐纵欲无度，挥金如汤沃雪，派头丝毫不亚于皇帝。
