临别上车之时，平阳公主亲抚着卫子夫的背说，“随皇帝陛下去吧，在宫里好好照顾自己，将来若是富贵了，不要忘记我的引荐之功便好。”卫子夫点了点头，随即登车而去，跟随汉武帝返回了皇宫。

汉武帝虽然对卫子夫极为喜爱，但由于皇后陈阿娇长期无子，极为善妒的她根本不允许其他女子接近汉武帝，结果卫子夫入宫一年多，别说受到汉武帝宠爱了，就连想见汉武帝一眼都十分困难，久而久之，汉武帝便也忘记了她的存在。

直到建元三年（前138年），汉武帝依照规定将宫中年迈体弱的宫人释放出宫，卫子夫这才得以再度见到汉武帝。

困居深宫一年多，虽然吃穿不愁，但由于孤苦无依，卫子夫心中早已充满了委屈，如今面对入宫一年多以来见到的唯一一个熟悉面孔，卫子夫顿时泪流满面，跑上前去哭着请求武帝释放她出宫回家。

汉武帝看着眼前已经哭成泪人的卫子夫，也是十分的心疼，上前擦去了卫子夫脸上的泪痕，表示自己会好好照顾她的。当夜，对卫子夫十分怜爱的汉武帝，便再一次临幸了卫子夫，没想到卫子夫竟然就此怀孕。

汉武帝成婚虽早，但却一直没有孩子，如今听说卫子夫怀孕，自然十分的高兴，卫子夫因此日渐受宠，并由此惠及家族，她同父异母的弟弟卫青，便因为姐姐的关系被选入了建章宫当差。

卫青的出身极低。卫子夫的母亲卫媪与丈夫前后生有一子三女，即长子卫长君、长女卫孺、次女卫少儿和三女卫子夫。后来，卫媪进入平阳侯府为仆，又与在平阳侯府做事的县吏郑季私通，这才生下了卫青。

由于生活艰苦，卫媪根本无力抚养这么多子女，便将卫青送到了生父郑季家中抚养，然而郑家从来没有将卫青当成自己家的孩子，不仅郑家的子弟不将卫青看做兄弟，就连生父郑季也不将卫青视为己出，从小便让其放羊，当成奴仆一样使唤。卫青年纪稍长，因为不愿再受郑家的奴役，便又回到了母亲身边，做了平阳公主家的骑奴。

卫子夫的怀孕，汉武帝虽然十分高兴，但皇后陈阿娇可就极为不满了，为此先后数次寻死觅活，然而此举只能让汉武帝对其愈加厌恶。

前面我们便已经说过，在汉朝，一个无子的皇后是无法长久保持自身地位稳固的。陈皇后嫁给汉武帝数年，始终无法怀孕生子，原本独霸后宫，尚未感觉到威胁，如今卫子夫的怀孕，却是实实在在的让她感受到了危机。

馆陶公主刘嫖也意识到了卫子夫对女儿的威胁，于是命人前去抓捕在建章宫当差的卫子夫，欲以卫青的性命警告卫子夫。卫青的同僚好友公孙敖听到消息后，急忙率领壮士赶去相救，这才使得卫青逃过一劫。

汉武帝闻讯大怒，刘嫖母子平日里骄纵也就罢了，却没想到如今竟然敢为了争宠而谋害他人，虽然碍于窦太后的庇护，汉武帝不敢把刘嫖母子怎么样，他只能通过对卫氏族人的赏赐来表示自己的不满。

事后，汉武帝立即将卫子夫加封为了夫人，使其地位仅次于皇后，又将卫青提拔为了建章监、侍中，而且数日间连续赏赐卫青多达千金，卫子夫的长兄卫长君也被任命为侍中。与此同时，汉武帝又通过指婚的方式，将卫子夫的长姐卫孺嫁给了太仆公孙贺，次姐卫少儿也被嫁给了开国功臣、曲逆侯陈平的曾孙詹事陈掌。

结果，不仅卫氏家族因此而迅速崛起，就连救过卫青的公孙敖都因此而受到汉武帝的重用。