然而自从陈娇出宫告状那时起，刘彻便已经提高了警惕，将卫子夫迁到自己寝宫旁边，不但对她随时保护，更与她感情与日俱增。
馆陶公主于是决定改向卫子夫的家人开刀。
卫子夫的母亲是平阳公主府里的女奴卫媪，卫媪的丈夫是谁没有人知道，只知道她所生的众多儿女都跟她姓卫。卫子夫的哥哥名卫长子(字长君)、长姐名卫君孺，二姐名卫少儿，还有弟弟卫步、卫广。此外还有一个叫卫青的弟弟--他是卫媪与平阳侯封邑小吏郑季私通所生的，也是卫媪儿女中唯一确定生父的人--在一些史书里，将卫媪称为"侯妾",如果这样看来，卫媪所生的儿女中，可能很有几个是平阳侯与卫姓婢女所生的孩子，只是由于得不到侯夫人的认可而母子都被迫为奴。如果是这样的话，这位"平阳侯"不太可能是平阳公主的丈夫曹寿，而可能是曹寿的父亲第三任平阳侯。
由于是私生子中的私生子，卫青被母亲送到生父郑季那里养育。然而郑太太却对老公偷情的成果不能容忍，逼着卫青去放羊，做异母兄弟们的仆役。卫青终于受不了，找了个机会逃回了平阳府投奔母亲。这时的平阳侯府里，已是平阳公主当家了。她看卫青长得一表人才，便让他做自己出行仪仗里的护驾骑奴。后来又派到上林苑的建章宫充役。
而馆陶公主首先盯上的，就是卫青。她派出亲信很快就把毫无防备的卫青给抓了起来，打算把他一刀两段。
