卫青的三个儿子都不是平阳公主所处。说起卫青，大家的第一念头估计就是他姐姐是当朝的皇后，外甥是当朝的太子，夫人则是平阳公主，自身也是战功赫赫的大将军，身份极为之高。不过这么一个厉害的人物在没有发迹之前，地位却是十分低贱的。卫青与姐姐卫子夫自幼就在平阳公主家相依为命，虽说都为奴，但是运气是好的不能再好了。
公元前139年，汉武帝刘彻来平阳公主家做客，为了款待自己的弟弟，平阳公主准备了舞姬助兴。卫子夫在人群中脱颖而出，受到了汉武帝的宠幸，之后随武帝入宫，卫青后来也受到武帝重用。 公元前129年，卫青首征匈奴，卫青虽，但是胆子却很大，在作战过程中，深入敌方内部，大败匈奴凯旋而归，被汉武帝封为关内侯。公元前127年，匈奴入侵，危及长安，卫青，一鼓作气，解决了匈奴对长安的直接威胁，后被封为长平侯。之后多次带兵出征，均取得良好的战绩，卫青在世时，匈奴不足为患。
卫青在中年时迎娶汉武帝姐姐平阳公主，昔日主仆身份变成夫妻关系也是当时百姓流传的佳话，虽然婚后平阳并未为卫青诞下一儿半女，但二人依旧相敬如宾，生活美满。公元前106年，卫青积劳成疾，因病去世。卫家在卫青在世时虽显赫一时，但卫青逝世之后便逐渐没落。
卫伉幼时便被封为宜春侯，待父亲死后，卫伉继承了父亲的长平侯爵位，卫伉虽是卫青长子，却没有继承父亲的良好基因，反而经常惹是生非，引起武帝的厌恶。 公元前116年，卫伉因坐“矫制不害”被免侯;公元前102年，卫伉因没有符籍而擅自入宫，再次被罢免侯位。在公元前91年，因父子被捕入狱，卫伉牵涉到“”中，后被汉武帝赐死。卫伉虽有侯位但并没有什么作为，最后惨死，也是几个兄弟当中结局最悲惨的一个。
卫不疑在小的时候，因父亲出征匈奴有功，便被封为阴安侯。后来因酎金失侯，但元鼎五年后，史书上便没有了关于卫不疑的记载，甚至他的子嗣以及卒年都没有记录。所以推测卫不疑之后应该没有在朝廷中担任要职，而是平稳度过一生。
卫登儿时和哥哥一样的遭遇，即幼时封侯，后来酎金失侯。史书后来对卫登的记载很少，可以考察的是卫登一脉在时复家，和时均有记载卫登一脉在朝中为官，也算是延续了卫家的香火。