这时李广的军队几乎全军覆没，收兵回朝。博望侯因滞留延误而未能在规定日期到达，判处死刑，他出钱赎买，兔去死刑，降为百姓。李广所立的军功与应得的罚相抵，所以没有受赏。

　　当初;李广的堂弟李蔡跟李广一起侍奉孝文帝。到了景帝时，李蔡积累功劳做到二千石的官。孝武帝时又做了诸侯国代国的国相。在元朔五年作为轻车将军，跟从大将军出击右贤王;有功，符合国家行赏的标准，封为了乐安侯。元狩二年中，代替公孙弘做了丞相;李蔡的为人在下等里的中等，名声在李广之下太远了。然而李广却得不到封邑，官位也只不过在九卿之列。而李蔡封侯，高官到三公。李广的部下都有的封侯了。李广曾跟善于望气以测知凶吉的王朔私下说：“自从汉朝抗击匈奴以来，我李广没有一次不在其中。然而许多校尉以下的官员，才能算不上中等人，都因抗击匈奴立功而得以封侯的有几十人。而我李广不在人后，竟然没有一点功劳而得到封邑，这原因是什么呢?难道是我的相貌不应当封侯吗?还是本来命中注定的?”王朔说：“将军你自己想想，难道你曾有作过什么遗憾的事么?”李广回答：“我过去做陇西太守时候，羌族人曾起兵反汉，我诱使他们投降，投降的人八百多人，我假装同意他们投降，当天就把他们都杀了，到今天为止，最大的遗憾只此一件!”王朔说：“灾祸没有比杀戮已经投降的人更大的了，这就是将军您为什么得不到封侯的原因啊!”

　　此后二年，大将军(卫青)及骠骑将军(霍去病)出兵抗击匈奴。李广屡次亲自请求随行参战。汉武帝以李广年老为由，不允许。过了好久，才答应了，让李广担任为前将军。这一年正是元狩四年。

　　李广跟随大将军卫青出击匈奴，出了关塞以后，卫青捕到了一个俘虏，得知了单于的住处，就亲自率领精兵去追单于，却命令李广的军队合并到右将军的部队中去，从东路出击。东路稍绕远，而卫青大部队的行军路上，因为水草很少，不便屯扎宿营。李广亲自请求说：“我的职务本来是前将军，如今大将军竟下命令调我从东道出兵。况且我从年轻束发时就一直与匈奴作战，今天才得到一个与单于对战的机会，我愿意担当先锋，先跟单于拼一死战。”大将军卫青私下里受到皇帝的告诫，认为李广年纪已老，命不好，不要让他跟单于对战，恐怕达不到预期的目的，而这时公孙敖刚刚失掉封侯，担任中将军，跟随大将军(出击匈奴)，大将军想让公孙敖跟自己一起与单于对战，所以调开了前将军李广。李广当时也知道内情，因此，坚决地向大将军辞命不受。大将军不听，命令长史写道军令，封好送到李广的军部，说：“赶到右将军的军部去，照文书上所说的办。”李广没有向大将军卫青辞行就起程了，心里特别生气地来到军部，率领军队与右将军赵食其会师从东道出发。军队里没有向导，迷失了道路，耽误了与大将军会师的约期。大将军与单于交战，单于逃跑了，未能抓获他，只得回军。回师向南，横穿沙漠，遇到了前将军(李广)和右将军(赵食其)。李广见过大将军，就回到自己的军中。大将军派长史拿着酒饭馈赠李广，借机询问李广和赵食其迷失道路的情况，准备上书报告天子军事详情。李广不予回答。大将军又派长史马上督责李广的僚属前去对质听审。李广说：“众校尉没有过错，是我自己迷失了道路，我现在就亲自到卫青的军部上报军情。”李广对他的部下说：“我从年轻的时候开始，跟匈奴打了大大小小七十多回仗，而今很幸运跟从大将军出征，有了跟单于交战的机会。然而在将军又调开了我的部队，(从东路出击)行军绕远，而且又迷失了道路，这难道不是天意吗?况且我李广的年龄已六十多了，终究不能再去对答那些执法法官的审问了。”说完就抽出刀来自杀了。李广军中的军官、大夫等全军上下都痛哭失声。老百姓听说了这件事，无论认识他的还是不认识他的，也不论年老的还是年少的，都为他流了泪。而右将军赵食其被单独交给了执法官吏，罪当处死，他出钱赎罪，被降为平民。

　　太史公司马迁说：“《论语》上说：”(为官的人)本身行得正，即使没有命令人们也会跟你去做;为官的人本身不正，即使有命令，人们也不会听从。‘“这话正是说的李将军吧!我看那李将军，实在憨厚得像个乡下人，嘴不善于说话，等到他死的那天，天下人无论是认识他的还是不认识他的，都为他的死感到极度的悲哀，他那忠实的心，真是被士大夫所信任啊!谚语说：”桃树和李树虽不会说话，但树下自然被踏出一条道，这话说的虽然是小事，但是却可以比喻李广伟大的人格啊。“