卫律知道苏武终究不愿意投降，报告了单于。单于越发想使苏武投降，就把他囚禁起来，放在大地窖里面，不给他吃的和喝的。

　　天下雪，苏武卧着嚼雪，同毡毛一起吞下充饥，几日不死。匈奴人认为这很神奇，就把苏武流放到北海边没有人的地方，让他放牧公羊，说等到公羊产了仔才能归汉。同时把他的部下及其随从人员分别安置到别的地方。苏武被流放到北海后，因为粮食运不到，所以只能掘取野鼠所储藏的野生果实来吃。他拄着汉朝皇帝赐予使臣的旄(máo)节牧羊，无论是睡觉、还是走路都拿着，以至于系在节仗上的节旄都全部掉落了。