IT之家 6 月 6 日消息，據外媒 Futurism 今天（6 日）晚間報道，北卡羅來納大學教堂山分校和美國東北大學研究人員的一項新研究發(fā)現，主流 AI 模型在分析職業(yè)體育比賽時表現很差。這項研究目標是考察熱門 AI 模型在感知、推理、模擬和自主行動能力四個方面的表現，現有測試方法很難準確評估這些能力。不過需要注意的是，其尚未經過同行評審。

為測試 AI 在這些方面究竟能做到何種程度，研究人員把職業(yè)體育比賽做成了一套新基準。新測試名為“戰(zhàn)略視頻智能”，簡稱 SVI-bench，數據包括 35000 小時籃球、足球和冰球比賽畫面、1500 萬條帶標注的比賽回合、15000 小時職業(yè)分析、23000 份賽后報道，以及 10.3 萬條統計記錄。

AI 表現相對最好的是“看懂畫面”這一步，也就是判斷比賽某個時刻由哪名球員做了什么動作。但即便是最基礎的感知任務，AI 也談不上可靠。ChatGPT、谷歌 Gemini 和千問等模型的平均識別準確率大約為 74%。報道指出，放在體育解說場景里，這個水平恐怕連少年棒球賽的義務解說員都保不住位置。

到了因果推理環(huán)節(jié)，模型表現進一步下滑。研究人員要求 AI 解釋一組戰(zhàn)術或一個回合為什么會以某種方式發(fā)生，平均成功率只有約 40%。

例如，研究人員讓模型判斷 NBA 太陽隊球員科迪 · 馬丁一記三分球的異常之處。此次進球他先打到籃板頂部，隨后才落入籃筐，但 ChatGPT 給出的答案是，這是“他本場比賽命中的第一個三分球”。

模擬能力同樣糟糕。研究人員要求 AI 根據球員運動軌跡尋找證據，并預測球員接下來會移動到哪里。結果顯示，即便表現最好的模型，在判斷球員下一步動作時也接近隨機猜測，一旦預測范圍延長到朝球門或籃筐移動的更長路線，模型表現還會繼續(xù)變差。

IT之家從報道中獲悉，美國東北大學計算機科學研究人員、研究共同作者洛倫佐 · 托雷薩尼在大學新聞稿中表示，AI“無法告訴你事情為什么會發(fā)生，也無法告訴你接下來會發(fā)生什么”。

研究人員還測試了模型的自主分析能力，相當于要求 AI 像人類體育主播一樣，結合賽后數據和趨勢作出復雜判斷。結果顯示，模型在這一項上的準確率只有 5%。

托雷薩尼表示，一名優(yōu)秀體育解說員做的不只是描述畫面。他們會解釋一套戰(zhàn)術為什么有效，預判接下來會發(fā)生什么，還會判斷哪些瞬間真正重要。但研究顯示，AI 已經相當擅長描述畫面，但在其他能力上全面失守。

托雷薩尼總結稱：“同樣的能力差距會出現在任何一類工作中。真正的價值并不在于描述眼前可見的東西，而在于理解事件為什么這樣發(fā)展、預判接下來會發(fā)生什么、判斷什么重要，并提出下一步應該怎么做。”

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。