文帝曾得意地说：“前代皇帝内宠太多，往往由于嬖爱而废嫡立幼，我没有姬妾，五个儿子都是皇后所生，必然会和睦相处，不会像前朝那样发生争夺。”
太子杨勇生性率直，为人宽厚，但生活奢侈，性喜浮华，内宠很多。其中有四个女子最得嬖幸：一个是高良娣，轻盈娇小，柔若无骨;一个是王良嫒，肌肤映雪，柳腰袅娜;一个是成姬，双瞳点水，一握莲钩;而最美的一个叫云昭训，真是天仙化人，艳冠三美，更是颇讨太子欢心。只是杨勇与嫡妃元氏性情合不来。因此四美轮流当夕，元妃独守空房。独孤皇后是一个善妒的人，不愿文帝宠嫔妃，也讨厌群臣及诸子宠姬妾。大臣中凡有姬妾生子者，皇后多会令皇帝斥责贬官。如今自己的儿子杨勇宠妾疏妻，独孤后极为气愤。每当杨勇入宫见独孤后，独孤后从没有好脸色。本来杨坚对于太子十分信任，常让他参决政事，杨勇提出的意见，杨坚总是乐于采纳，因为独孤后的枕边风，杨坚对太子也有了看法。对杨家来说，由谁来继承皇位，并不是国家大事，而仅仅是家庭问题。
有一年冬至，百官都到太子宫中称贺，杨勇超出礼制规定张乐受贺。独孤后便对杨坚说：“太子勇率性任意，动多乖张，今日冬至，百官循例进宫，他却张乐受贺。圣上尚需劝诫他一番才好。”杨坚听说后，也是心里不快，下诏与群臣，令此后不得擅贺东宫。从此杨坚对于太子渐加猜忌，宠爱大不如以前了。
正好元妃患病死去。独孤后还以为是太子有意谋害嫡妃，心里越发不平。便暗中怀了废去太子杨勇的打算，她派宦官伺察太子的短处，等他有了重大过失，便好将他废去，改为晋王杨广为太子。
晋王杨广生性狡诈诡谲，善于矫饰逢迎，本是一个投机取巧之人。他早有夺嫡的心思，处处沽名钓誉，揣摩了独孤后的情性，一味迎合。杨广与萧妃如胶似漆。后宫虽有美人无数，为取悦于独孤后，杨广不惜将其他姬妾所生骨肉命人掐死，只有正妃萧氏所生之子才禀告父母，给父母造成了仅与元配厮守终身的假相。有一天杨坚与独孤后同临晋王的府第，杨广便将后宫美姬都藏起来。只留下几个又老又丑的宫女充当侍役，身上所穿全是粗布衣服。杨广与萧妃，也穿得很陈旧。一切陈设都因陋就简。架上的诸般乐器都尘堆垢积，望上去便知道已是久不动用了。
