卫律的父亲原本是长水的胡人，自小生长在汉朝。与协律都尉李延年关系友善，受到李延年举荐出使匈奴，等到使团返回的时候却恰逢汉朝诛灭李延年家。卫律害怕受到牵连一并伏诛便逃出汉朝投降了匈奴，被匈奴封为丁灵王，受到且鞮侯单于宠幸。卫律则一直在单于身边工作。

　　卫律在匈奴时，历任且鞮侯单于、狐鹿姑单于、壶衍鞮单于三代单于，参与匈奴的政治军事活动。且鞮侯单于时受到单于委派，审判意图在匈奴中策划反叛人等，并招降牵涉其中的包括苏武在内的汉朝使节。

　　卫律曾与李陵一同接待汉朝派往匈奴的使者任立政等人。曾经劝说壶衍鞮单于效法汉朝建设城池囤积粮食，派谴军队守城，后来因为有人提出匈奴人不善于守城，建城屯粮等于白白把粮食送给汉人，这件事才作罢。改为释放之前扣押的汉朝使者，与汉朝修好。

　　征和三年(公元前90年)，汉贰师将军李广利率七万汉军出五原征匈奴。匈奴派右大都尉和卫律领五千骑与汉军邀约在夫羊句山狭(今蒙古国)进行先锋战，被李广利从西域的属国征发来的二千胡骑击败。李广利乘胜追击，势如破竹。这时汉朝因为巫蛊之乱将李广利全家收押，消息传来，李广利害怕因此受牵连，于是调遣大军深入，欲要得更多战功抵罪。匈奴趁机引其孤军深入，以逸待劳将其击破，李广利兵败投降。

　　单于因为李广利是汉朝的大将兼外戚贵臣，把女儿嫁给了他，对其尊宠在卫律之上，引来卫律嫉妒。后来单于的母亲阏氏生病了，卫律指使巫医说：“匈奴之前出兵前祭祀常常立誓说，若抓到了贰师将军李广利，便要拿他做祭品。如今为何不遵守誓言?”匈奴于是杀了李广利。

　　狐鹿姑单于死时立下遗言，因为其子年少，所以由其弟右谷蠡王继位为单于。单于死后颛渠阏氏与卫律等人谋划，隐瞒单于的死讯，另拥立单于之子左谷蠡王为壶衍鞮单于。

　　左贤王和右谷蠡王因为没能继位，便产生了挟持卢屠王叛离归汉的想法，被卢屠王告发，两王拒不承认都归罪于卢屠王。从此之后，两王都回到自己的领土上，不肯参与龙城会盟。加上在此之前母阏氏杀死狐鹿姑单于的异母兄弟左大都尉，导致左大都尉同母兄弟的叛离。

　　卫律大约死于前79年到前78年之间，他活着的时候曾经多次向匈奴主张和亲的好处，但是匈奴人不采纳。直到他死后，匈奴军事失利国家疲困，他的主张才被渐渐采纳。