近日，有媒體報道，目前部分人工智能沉迷刷榜，在基準測試時高分通過，表現(xiàn)優(yōu)異，但實際應(yīng)用中卻還會犯一些非常基礎(chǔ)的錯誤。這種沉迷刷榜，忽略實用性質(zhì)的行為造成了部分AI模型“高分低能”的現(xiàn)象。那么，對于AI發(fā)展而言，基準測試是否必要？在實際應(yīng)用中，基準測試哪些問題有待改進完善呢？

AI模型哪家好，基準測試來說話

AI模型應(yīng)該如何衡量其性能？

“目前AI模型能力的高低取決于數(shù)據(jù)，因為AI的本質(zhì)是學習數(shù)據(jù)，輸出算法模型。為了公平衡量AI能力，很多機構(gòu)、企業(yè)甚至科學家會收集、設(shè)計不同的數(shù)據(jù)集，其中一部分喂給AI訓練，得到AI模型，另外一部分數(shù)據(jù)用于考核AI模型的能力，這就是基準測試。”近日，西安電子科技大學電子工程學院教授吳家驥接受科技日報記者采訪時表示。

吳家驥介紹說，機器學習越來越多地用于各種實際應(yīng)用場景，例如圖像和語音識別、自動駕駛汽車、醫(yī)學診斷等。因此，了解其在實踐中的行為和性能變得非常重要。其魯棒性和不確定性的高質(zhì)量估計對于許多功能至關(guān)重要，尤其是在深度學習領(lǐng)域。為掌握模型的行為，研究人員要根據(jù)目標任務(wù)的基線來衡量其性能。

2010年，基于ImageNet數(shù)據(jù)集的計算機視覺競賽的推出，激發(fā)了深度學習領(lǐng)域一場算法與數(shù)據(jù)的革命。從此，基準測試成為衡量AI模型性能的一個重要手段。微軟公司的計算機科學家馬塞洛·里貝羅表示，基準測試應(yīng)該是從業(yè)者工具箱中的一個工具，人們用基準來代替對于模型的理解，通過基準數(shù)據(jù)集來測試“模型的行為”。

例如，在自然語言處理領(lǐng)域，GLUE科研人員讓AI模型在包含上千個句子的數(shù)據(jù)集上訓練，并在9個任務(wù)上進行測試，來判斷一個句子是否符合語法，并分析情感，或者判斷兩個句子之間是否是邏輯蘊涵等，一度難倒了AI模型。隨后，科研人員提高了基準測試難度，一些任務(wù)要求AI模型不僅能夠處理句子，還要處理來自維基百科或新聞網(wǎng)站的段落后回答閱讀理解問題。僅經(jīng)過1年的發(fā)展，AI模型的性能從不到70分輕松達到90分，超越了人類。

吳家驥表示：“科學研究要有科學問題、方法、計算、試驗對比等要素。因此在進行科學研究，包括人工智能的科研中，也必須有計算與試驗對比，也就是說AI算法的能力應(yīng)該是可測量的，目的是驗證研究方法的可行性、有效性。因此，基準測試很有必要，這樣才可以公平驗證AI算法能力的高低好壞，避免各說各話，‘王婆賣瓜自賣自夸’。”

算法最終服務(wù)實踐，而非刷榜

有人說，高分是AI模型的興奮劑。于是，有的人工智能為了取得好成績而頻頻刷榜。

微軟公司2020年發(fā)布報告指出，包括微軟、谷歌和亞馬遜在內(nèi)的各種sota模型包含諸多隱含錯誤，比如把句子里的“what"s”改成“what is”，模型的輸出結(jié)果就會截然不同，而在此前，從沒有人意識到這些曾被評價還不錯的商業(yè)模型竟會在應(yīng)用中如此糟糕。顯然，這樣訓練出的AI模型就像一個只會考試、成績優(yōu)異的學生，可以成功通過科學家設(shè)置的各種基準測試，卻不懂為什么。

“為了獲得好成績，研究人員可能會使用特殊的軟硬件設(shè)置對模型進行調(diào)整和處理，讓AI在測試中表現(xiàn)出色，但這些性能在現(xiàn)實世界中卻無法施展。”西安電子科技大學研究員尚坤指出。

在智能手機領(lǐng)域，我們談及手機的使用體驗時一般都不免會涉及手機的性能表現(xiàn)，這些性能通常會用跑分成績來表現(xiàn)。然而，我們常常會遇到一款手機的跑分成績處于排行榜領(lǐng)先水平，但是在實際使用過程中卻出現(xiàn)動畫掉幀、頁面滑動卡頓、應(yīng)用假死等的現(xiàn)象。全球頂級評測網(wǎng)站AnandTech的一篇報道曾對這種現(xiàn)象提出質(zhì)疑，指出某品牌手機跑分時啟動了“性能模式”，而在平時的使用中“性能模式”很少被調(diào)用開啟。這種處理方式雖然能夠獲得高跑分，但是不能模擬用戶真實的使用情景，這讓基準測試不具有參考意義。

尚坤認為，針對上述問題，改進基準的方法主要有：一種是增加更多的數(shù)據(jù)集，讓基準變得更難。用沒有見過的數(shù)據(jù)測試，這樣才能判斷AI模型是否能夠避免過擬合。研究人員可創(chuàng)建一個動態(tài)數(shù)據(jù)收集和基準測試平臺，針對每個任務(wù)，通過眾包的方式，提交他們認為人工智能模型會錯誤分類的數(shù)據(jù)，成功欺騙到模型的樣例被加入基準測試中。如果動態(tài)地收集數(shù)據(jù)增加標注，同時迭代式的訓練模型，而不是使用傳統(tǒng)的靜態(tài)方式，AI模型應(yīng)該可以實現(xiàn)更實質(zhì)性的進化。

尚坤說，另一種是縮小實驗室內(nèi)數(shù)據(jù)和現(xiàn)實場景之間的差距。基線測試無論分數(shù)多高，還是要用實際場景下的數(shù)據(jù)來檢驗，所以通過對數(shù)據(jù)集進行更貼近真實場景的增強和擴容使得基準測試更加接近真實場景。如ImageNet-C數(shù)據(jù)集，可根據(jù)16種不同的實際破壞程度對原有的數(shù)據(jù)集進行擴充，可以更好模擬實際數(shù)據(jù)處理場景。

應(yīng)用廣泛，需盡快建立國家標準

美國麻省理工學院Cleanlab實驗室的研究指出，常用的10個作為基準的數(shù)據(jù)集中，有超過3%的標注是錯誤的，基于這些基準跑分的結(jié)果則無參考意義。

“如果說，基準測試堪稱人工智能領(lǐng)域的‘科舉制’，那么，‘唯分數(shù)論’輸贏，是不可能訓練出真正的好模型。要打破此種現(xiàn)象，一方面需要采用更全面的評估方法，另一方面可以考慮把問題分而治之，比如用多個AI模型解決復雜問題，把復雜問題轉(zhuǎn)化為簡單確定的問題。簡單且經(jīng)過優(yōu)化的基線模型往往優(yōu)于更復雜的方法。谷歌的研究人員為常見的AI任務(wù)引入了不確定性基線庫，來更好評估AI應(yīng)用的穩(wěn)健性和處理復雜不確定性的能力。”遠望智庫人工智能事業(yè)部部長、圖靈機器人首席戰(zhàn)略官譚茗洲指出。

雖然行業(yè)正在改變對于基準的態(tài)度，但目前基準測試研究仍然是一個小眾研究。谷歌在一份研究中采訪了工業(yè)界和學術(shù)界的53位AI從業(yè)者，其中許多人指出，改進數(shù)據(jù)集不如設(shè)計模型更有成就感。

譚茗洲表示，AI應(yīng)用基準研究是構(gòu)建國內(nèi)統(tǒng)一大市場的內(nèi)在需要，當前AI已經(jīng)在國計民生的各類領(lǐng)域中得到廣泛應(yīng)用，更需要設(shè)立標準對AI模型進行全面有效的評估，片面追求和采用高分AI模型，可能會讓模型在復雜極端場景下出現(xiàn)“智障”行為，并且可能由于訓練和推理性能的低效，造成不良社會影響、經(jīng)濟損失和環(huán)境破壞。

譚茗洲強調(diào)，AI應(yīng)用基準研究關(guān)乎國家戰(zhàn)略。針對重要領(lǐng)域，建立我國自己的AI基準測試標準、AI數(shù)據(jù)集、AI模型評估標準等迫在眉睫。

(資料圖片)

據(jù)了解，西安電子科技大學的DvcLab也在AI基準測試這個領(lǐng)域進行了前瞻性研究，特別是針對AI應(yīng)用基準測試中數(shù)據(jù)集的整體質(zhì)量與動態(tài)擴展兩個關(guān)鍵問題，正在開發(fā)可在線協(xié)作的數(shù)據(jù)標注與AI模型研發(fā)托管項目，并計劃今年陸續(xù)開源，正在為構(gòu)建國家AI基準評估標準體系進行積極探索。

標簽： 基準測試 人工智能 研究人員