代宗永泰元年（765），嚴武不幸突患疾病，死于成都，年四十歲。
與杜甫最友善，鎮劍南時，甫因避亂往依之。杜甫居成都期間，嚴武數度勸其出仕，杜甫婉言謝絕。后來，因感其誠意，友情難卻，入嚴武幕府任檢校工部員外郎，故又有杜工部之稱。
有關嚴武的傳聞：嚴武是個毀譽參半的人物，看看一些傳聞吧。
幼弒父妾
《新唐書》中曾記載，嚴武字季鷹，小時候就豪氣過人。父親嚴挺之因他的母親年老色衰，心生厭煩，而偏心寵愛一個名字叫“英”的小妾。
她母親心中難過，卻也不敢怎么樣。嚴武當時才八歲，看到媽媽不停地淌眼抹淚的，就問為什么？他母親正在氣頭上，不免痛罵了“英”這個狐貍精一番，哪知道小嚴武卻記在心里。小嚴武二話不說，悄悄抄起把大鐵錘，趁這個英正在睡覺，小嚴武猛地一錘，將她打得腦漿迸裂，一命嗚呼。
家里的仆人想為他打掩護，等嚴挺之上朝回來時稟報說：“小公子玩鬧時，不小心失手殺了英�！毙牢鋮s昂然說：“哪有當大臣的厚待自己小老婆而虧待自己的正妻的，兒子我就是想殺她，不是鬧著玩�！�
結果，他父親嚴挺之并未深責他，反夸他有膽略，說：“真像我嚴挺之的兒子！”按現在的法律，八歲的小嚴武殺人，也不夠負刑事責任的年齡。而在唐代時，家中的姬妾更是像牛馬寵物一樣的地位，因而此事就這樣不了了之了�？梢妵牢渖鷣砭褪莻€兇悍異常的小子。
奸殺少女
《太平廣記》中還記載，嚴武少年時誘奸了鄰家一個女孩，并將其帶上船遠走。這個女孩的父親是軍官，發現此事后告到官府，一時官兵捕盜，四處尋查。嚴武是重點嫌疑對象，當官兵圍住嚴武的船時，嚴武心黑手辣，眼見就要露餡，就用琵琶弦將女孩勒死，將尸體丟在水流湍急的江水中。
官兵遍搜嚴武的船，卻始終發現不了什么證據，雖然懷疑是嚴武，但也只好作罷。日后此女子冤魂來索命，嚴武請道士來降也無濟于事，于是四十來歲就暴卒于家。冤魂索命云云，未必為真。但嚴武四十來歲就暴卒，卻是真的。
