衛伉記事的時候,衛青就已經在朝堂上占據了一席之地，雖說生母早逝,但是，他畢竟是衛青的嫡子，即便是后來衛青娶了平陽公主，也沒有影響到衛伉的地位，平陽公主并不在意一個長平侯的爵位，衛青只要保持這樣的勢頭,她的兒子封侯也是非常簡單的事情。所以，平陽公主對衛伉一直也很不錯，因此,衛伉一輩子是真沒吃過什么苦頭，他父親是大將軍，繼母是平陽長公主，兩個弟弟后來也都是列侯,姑母是皇后，表弟是太子,自個也娶了一個公主，可以說,如果沒有巫蠱之禍的話，他就是典型的人生贏家。
衛伉原本以為一切就會按照自己的心意這樣，他沒有繼承父親的軍事天賦,但是，他這樣的人脈，足以讓他哪怕一輩子荒唐度日，都能無所畏懼，結果,噩夢發生了。劉據看不慣江充，跟他產生了沖突，原本江充就是個小人物，誰也想不到，太子會栽在他手上。這位出手也是快準狠，直接就以巫蠱的名義將太子一眾黨羽給包圓了。衛伉根本想不到事情會變成后來那個樣子，畢竟，衛家一度在朝堂上占據了近乎統治性的地位，可惜的是，表兄英年早逝，父親再過世之后，衛家一派已經成了個空架子，畢竟，衛家和霍家其實都后繼無人，原本衛青霍去病提拔的人，真的是許多爛泥糊不上墻，像是公孫賀，當初就因為救了衛青一次，衛青真的是每次都提攜他，結果這位不管是本事不行還是運氣不好，總能出各種岔子，而且公孫賀家的人性情也極為跋扈，搞出來的事情也是不少，爵位是升了削，削了恢復，沒個消停的時候。
總而言之，在巫蠱之禍中，衛家真正的盟友其實不多，更多的還是落井下石的人，甚至連同此時已經嶄露頭角的霍光也是一言不發，根本沒有撈衛家一把的意思，因此，衛家算是大敗虧輸，徹底完蛋。
想到這樣的結局，衛伉一邊戰栗，一邊又開始絞盡腦汁，企圖找到一個合適的辦法，解決這樣的問題。
可惜的是，衛伉就是個溫室里頭養出來的花，根本難以解決這種困局，至于說找衛青，衛伉琢磨著，衛青若是活著，根本也不會遇上這樣的事情，衛青一死，衛家后繼無人，這才讓人起了僭越之心。但問題是，衛伉對自己的斤兩還是知道的，他是真沒這個天份。打仗這種事情，真的是要看天賦的，甚至還得看運氣。李廣那是隴右李氏出身，祖上是李牧，還能跟秦國的李信扯上點親戚關系，這一家子從戰國的時候就將才輩出，李廣自個乃至他的幾個兒子也是精通兵法，弓馬嫻熟。但是那又如何呢
趙括起碼還有本事紙上談兵，衛伉盤算了一下自己的能耐，覺得自己紙上談兵都不夠格，至于兩個弟弟，跟自己差不多是一路貨色，再一想自己認識的那些人，頓時就有些絕望，麻蛋，怎么就沒一個真正靠譜的。在這樣的情況下，上戰場就算是有著舊部的支持和保護，大概也就是能保住性命，至于立功什么的，估計得看運氣好不好了但凡家里同輩人里頭有誰能接過自家父親或者是表哥的旗幟，衛家也不會落到后來那個地步。
衛伉心煩意亂，他養尊處優慣了，為了發泄，竟是在侯府校場折騰了大半個下午，以至于衛青回來的時候，他已經是精疲力竭，渾身酸痛。
衛青對自家孩子也沒有過高的期待，他很早就意識到，任何事情都是要看天賦的，衛青當年做騎奴的時候，對于馬戰就有各種想法，后來系統地接觸了兵法之后，更是對此有了比較深入的研究，他不是沒教過身邊人，但是，就像是博士跟小學生說，這道題很簡單，你只要這樣這樣，小學生只會滿臉茫然，什么你說什么在戰場上，生搬硬套兵法根本就是不可能的事情，隨機應變才很重要，衛伉根本沒有這等應變之才，他真要是上戰場，遵守主將的命令估計不會有什么問題，但是讓他自主帶上一支兵馬，那可就得三分看天意了。
正因為對自家兒子有著這樣的了解，衛青干脆請了幾個先生讓衛伉學習儒學，劉徹當年就因為儒學的事情跟太皇太后鬧過不痛快，等到他當家做主了，自然開始拔高儒學的地位。當然，劉徹喜歡的是公羊儒，因此，如今朝堂上“大復仇”思想就很盛行，另外，劉徹的一個寵臣張湯作為法家的代表人物，率先搞起了儒皮法骨的游戲，其他一些學派也開始照貓畫虎，所以，別說什么罷黜百家，實際上儒學在這個時候還真沒達到一家獨大的地位，大家嘴上說的是論語、春秋，心里頭說不定想的是五蠹，為了一句話的解釋，一幫學子在鬧市大打出手都不是什么少見的事情。衛青如今這樣的身份地位，直接給衛伉找了幾個博士做先生，等到后來，衛伉更是直接進宮給劉據做伴讀，接觸的都是第一流的學者，當然，衛伉以前對于學習是不上心的。這年頭又不是后來科舉盛行的時候，講究什么書中自有黃金屋，書中自有顏如玉，這年頭讀書成本很高，但是收益卻未必高，看看朝堂上那些兩千石的實權官員，哪個是正兒八經靠著讀書上來的，要么就是祖上有軍功，要么就是自個有軍功傍身，那些博士在關鍵問題上根本沒什么發言權，劉徹想要干什么事情，根本不需要考慮他們這個團體的意見。這年頭，還有非列侯不能為丞相的潛規則，而想要封為列侯，要么你是繼承了父祖的爵位，要么就是外戚，最普遍的還是軍功。