汉武帝时期汉朝不断讨伐匈奴，双方多次派使节互相侦察。匈奴扣留了汉使郭吉、路充国等前后十余批人，汉朝也扣留匈奴使节以相抵。

　　天汉元年(前100年)，且鞮侯单于即位，害怕受到汉朝攻击，于是说：“汉朝天子是我的长辈。”送还了之前扣押的汉使路充国等。武帝为了赞许之，于是遣苏武以中郎将的身份，持节护送扣留在汉的匈奴使者回国，并赠送单于礼物，以答谢单于。

　　单于正派使者护送苏武等，适逢缑王与虞常等在匈奴谋反，暗中策划绑架单于的母阏氏投奔汉朝。虞常等七十余人起事前，一人趁夜逃跑，揭发了他们的计划。单于派卫律审理此案。张胜听到消息，担心和虞常所说的话被揭发，便把事情告诉了苏武。

　　苏武说：“事情已经发生了，一定会牵连到我。如果我受到了侵害，就更加对不起国家了。”于是想自杀。匈奴派卫律来劝说苏武投降，苏武却骂卫律不忠不义，自己已经做好死的准备了。匈奴就将苏武流放至北海(位于今俄罗斯西伯利亚贝加尔湖)，让他放牧公羊，说等公羊生小羊才可归汉。

　　武帝后元二年(前87年)，昭帝即位。几年后，匈奴和汉朝达成和议。汉朝寻求苏武等，匈奴谎称苏武已死。常惠告诉汉使要对单于说：汉天子在上林苑中射猎，射得一只大雁，脚上系着帛书，上说苏武等人在北海。汉使万分高兴，照常惠所说的话去责问单于。

　　昭帝始元六年(前81年)春，苏武回到长安。昭帝下令苏武带一份祭品拜谒武帝园庙。官拜典属国，俸禄中二千石;赐钱二百万，官田二顷，住宅一处。常惠、徐圣、赵终根都官拜中郎，赐丝绸各二百匹。其余六人因年老而返乡，各赐钱十万，终身免徭役。

　　昭帝始元七年(前80年)，上官父子与御史大夫桑弘羊、燕王刘旦、鄂邑公主谋反，苏武之子苏元因参与阴谋，与刘旦等人同被处死。由于苏武与上官桀、桑弘羊有旧，燕王刘旦因苏武功高而官小数次上书，加上其子苏元参与谋反，廷尉上书请求逮捕苏武。霍光把奏章搁置，只将苏武免官。

　　昭帝元平元年(前74年)，宣帝即位。宣帝赐爵苏武关内侯，食邑三百户。后卫将军张安世推荐苏武通悉典章制度、出使持节不降。于是宣帝召苏武在宦者署听候宣召，多次进见。拜右曹典属国。因苏武是德高望重的老臣，只令他每月的初一和十五日入朝，尊称为“祭酒”。苏武把所得赏赐，全部施送给弟弟和过去的邻里朋友，家中不留一点财物。

　　苏武活到八十余岁，宣帝神爵二年(前60年)去世。苏武也位列麒麟阁十一功臣第十一位。