半導(dǎo)體產(chǎn)業(yè)發(fā)展了數(shù)十年，有一個(gè)詞從來沒有離開過，那就是“評測”。
對硬件處理能力的評測，想必今天大家都已經(jīng)不陌生?！耙谎圆缓暇团芊帧睋?jù)說是科技行業(yè)的慣例；而普通人買手機(jī)買電腦，也要先了解一下CPU多少分、GPU處理能力達(dá)到多少分之類的數(shù)據(jù)。
而在AI變得越發(fā)重要的今天，是不是也應(yīng)該有對AI算力進(jìn)行評測的方案呢？
這個(gè)問題值得認(rèn)真思考一下。
無論是對谷歌、英偉達(dá)，還是高通、聯(lián)發(fā)科而言，今天的AI芯片和AI算力已經(jīng)成為了CPU和GPU之后的“第三大計(jì)算版圖”，評測AI算力的意義是毫無疑問的。然而另一方面，AI面向的并不是單一的計(jì)算任務(wù)，而是若干種類計(jì)算任務(wù)、計(jì)算架構(gòu)的集合，這也讓測試AI性能變得史無前例的棘手。
要知道，即使CPU評測這件在今天看起來并沒有難度的事，也是從90年代就開始啟動(dòng)，由無數(shù)公司與產(chǎn)業(yè)組織共同努力，才最終完成了行業(yè)標(biāo)準(zhǔn)確立。
那么AI評測這個(gè)陌生的東西，需要面對的技術(shù)規(guī)則挑戰(zhàn)可想而知。然而今天我們在手機(jī)芯片等領(lǐng)域，正在不斷看到越來越多的AI評測規(guī)則、評測報(bào)告出爐。結(jié)論往往混亂不堪，吃瓜群眾也搞不清楚這里的門道到底在哪。
讓我們今天“打破砂鍋問到底”，來看看AI評測“到底是怎么測的”。
手機(jī)芯片領(lǐng)域的AI算力評測，是一項(xiàng)爭議和復(fù)雜度遠(yuǎn)超想象的工程。今天為數(shù)不少的AI評測報(bào)告，或許都欠缺一抹嚴(yán)肅與邏輯自洽能力。
都想當(dāng)“江湖百曉生”：風(fēng)起云涌的AI芯片評測
看過《小李飛刀》系列的人都知道，排兵器譜的江湖百曉生雖然本身武力值不高，但江湖地位卓然不群。而今在AI高速前行的時(shí)代，給AI芯片排名這件“差事”，自然也是誘惑力十足。
在服務(wù)器AI芯片領(lǐng)域，很多組織和機(jī)構(gòu)都在醞釀算力評測方案。國內(nèi)的中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）已經(jīng)多次組織學(xué)界與產(chǎn)業(yè)界研討AI算力評測方案，并已有相關(guān)討論稿。而在海外，谷歌、英偉達(dá)等AI巨頭也在醞釀AI算力評測的相關(guān)章程，希望建立國際范圍內(nèi)通行的AI芯片測試標(biāo)準(zhǔn)。
而在手機(jī)芯片領(lǐng)域，這兩年隨著麒麟970開始搭載獨(dú)立的NPU處理單元，之后蘋果在A11中開始跟進(jìn)，在A12中搭載了具備相當(dāng)算力的AI加速模塊；今年驍龍855也采取了專用加速模塊的架構(gòu)，聯(lián)發(fā)科也講起了AI故事，手機(jī)芯片基本已經(jīng)在AI方向上達(dá)成了共識。那么如何來評價(jià)每一家的AI加速能力，自然成為了新的迫切需求。
目前，移動(dòng)和電信都在組織自己的手機(jī)AI芯片評測報(bào)告。魯大師很早就推出過一個(gè)AI跑分規(guī)則，引發(fā)了很多爭議，而它的競品安兔兔也在醞釀AI領(lǐng)域的評測。在國外，蘇黎世理工ETH也發(fā)布了SoC的AI性能評測方案AI Benchmark。
然而如果有朋友看過不同的端測AI評測報(bào)告，可能會發(fā)現(xiàn)這樣一個(gè)問題：各家評測結(jié)果出入很大，經(jīng)常陷入“公說公有理”的狀態(tài)。
這背后的根本原因在于，AI加速并不是一個(gè)通用計(jì)算能力，而是面向不同任務(wù)、不同網(wǎng)絡(luò)模型給出的差異化提速效果。甚至每款芯片能夠覆蓋的AI加速任務(wù)種類都有極大不同。舉個(gè)例子，短跑選手之間可以比賽排名，田徑隊(duì)和體操隊(duì)碰上了怎么比呢？
十分為難的評測方，在今天這個(gè)缺乏統(tǒng)一標(biāo)準(zhǔn)的AI評測時(shí)代，基本只能采取一種辦法：不管那么多，先測了再說。
于是，片面的標(biāo)準(zhǔn)和隨之而來的混亂，是AI評測這個(gè)行當(dāng)?shù)漠?dāng)前狀態(tài)。
“比武”也要講邏輯：不全面AI評測的隱憂
今天AI評測最大的問題，在于每家芯片廠商最開始做AI專項(xiàng)加速的時(shí)候，對這門復(fù)雜技術(shù)有著不同的理解。摸索期過去，當(dāng)各自作品“登上舞臺”，評測機(jī)構(gòu)可能會有點(diǎn)傻眼：這誰跟誰都不一樣，可怎么測啊……
在AI沒有通用接口的前提下，各家SoC廠商可能會選擇各自的兼容格式，不同的編程接口，以及不同的計(jì)算框架。甚至對于AI加速單元到底要為哪些AI任務(wù)加速，各家廠商的選擇都是不同的。
在這種情況下，如何將評測項(xiàng)目快速上馬？最簡單粗暴的邏輯，就是找一個(gè)大家都能做的來測一下。
魯大師的AI跑分之所以飽受質(zhì)疑，原因就在于它只用了一個(gè)AI識圖的任務(wù)來測試不同的手機(jī)，然而AI識圖只是眾多應(yīng)用中很小的一部分。甚至數(shù)據(jù)集和算法的不同，也會讓AI識圖這件事產(chǎn)生相差懸殊的結(jié)果。這種單一任務(wù)決定分?jǐn)?shù)高低的測試方法，有點(diǎn)像一張?jiān)嚲碇挥幸坏肋x擇題——顯然是無法做到公允的。
即使評測機(jī)構(gòu)想要把邏輯做的更復(fù)雜一點(diǎn)，在今天很可能依舊無法擺脫“折中主義”的評測思路。
比如說，不久之前發(fā)布的《中國移動(dòng)2018年智能硬件質(zhì)量報(bào)告》把驍龍855和麒麟980的AI性能進(jìn)行了評測對比。然而我們?nèi)绻匆幌逻@個(gè)評測的邏輯，會發(fā)現(xiàn)依舊無法擺脫片面折中的尷尬現(xiàn)象。
由于驍龍芯片和麒麟芯片對于AI加速的理解有很大區(qū)別，兩款芯片加速的AI任務(wù)也有很大不同。于是在移動(dòng)端的AI評測中，其邏輯是尋找兩款芯片都能做的AI任務(wù)，找到幾個(gè)典型算法和典型場景，然后進(jìn)行評測對比；評測標(biāo)準(zhǔn)是，在固定時(shí)間內(nèi)，誰能完成更多的突破分類、圖片分割等運(yùn)算任務(wù)，則誰更強(qiáng)。
然而這里首先暴露出的一個(gè)問題就是，折中主義方案下依然可能帶來不公平。因?yàn)楹芏嘈酒a(chǎn)品真正擅長，能給消費(fèi)者帶來體驗(yàn)改進(jìn)的算法加速，可能是對方芯片模塊中所不具備的能力，結(jié)果卻被評測方主動(dòng)屏蔽了。
這有點(diǎn)像華山論劍中，強(qiáng)行要求東邪西毒南帝北丐分門別類進(jìn)行比試。主辦方一琢磨，北丐會降龍十八掌，東邪會落英神掌，那公平起見你們就比掌法好了。然而北丐的掌法是看家本領(lǐng)，東邪的掌法只是十大神功之一，彈指神通玉簫劍法之類的，都被主辦方強(qiáng)行禁止了。
不全面的折中方案，其實(shí)恰好意味著不公平。然而這也是在倉促起事的AI評測中難以避免的。
更深層次的問題在于，折中主義方案其實(shí)是妥協(xié)于今天已經(jīng)比較完善、容易得出分?jǐn)?shù)對比的AI模型，比如圖像分類等等。然而問題來了，端側(cè)AI必然是不斷發(fā)展的，用戶對AI算法的復(fù)雜度也在日益提升。當(dāng)AI算力和應(yīng)用不斷發(fā)展，用戶不會只滿足于拍照識圖這種極簡單，并不需要強(qiáng)勁算力的AI應(yīng)用。然而對復(fù)雜算法的加速，也因?yàn)闃?biāo)準(zhǔn)難以統(tǒng)一被今天的AI評測屏蔽了。
比如說，中移動(dòng)的評測報(bào)告中提到了麒麟980對于浮點(diǎn)運(yùn)算的加速能力更好。游戲玩家可能更清楚浮點(diǎn)運(yùn)算這一概念，在游戲中任務(wù)的運(yùn)動(dòng)效果、打擊感、與自然環(huán)境的貼合度，都是由處理器對浮點(diǎn)型任務(wù)的支撐能力決定的。復(fù)雜網(wǎng)絡(luò)和高精度的AI任務(wù)想要運(yùn)行，往往需要強(qiáng)浮點(diǎn)計(jì)算能力的支持，而這一點(diǎn)的重要性，顯然在評測中并沒有體現(xiàn)出來，這也導(dǎo)致麒麟980比驍龍855的AI處理能力低了半星。顯然，這個(gè)結(jié)論很難具備說服力。
這里引申出的一個(gè)問題就是，拋開精度談速率，其實(shí)是一種不靠譜的算力比較。這就像答題答得快并不意味著成績好。更快的識圖速度如果建立高錯(cuò)誤率的基礎(chǔ)上，或者只能固定數(shù)據(jù)集快速識別，拿到現(xiàn)實(shí)生活中就識錯(cuò)，那顯然也并不意味著AI算力足夠強(qiáng)大。
整體來看，今天快速上馬的AI評測，根本問題在于想要在缺乏行業(yè)通用標(biāo)準(zhǔn)的情況下自己搞一個(gè)標(biāo)準(zhǔn)。往往是針對于眼前能獲取到的、容易跑分的算法，并且著眼于各家產(chǎn)品間的能力重疊部分，進(jìn)行測試。
這套邏輯雖然夠快，但首先沒有看到各家產(chǎn)品的獨(dú)特性，也沒有看到未來大負(fù)載的復(fù)雜AI任務(wù)必將成為主流這一核心趨勢。
這種套路下得出的結(jié)論，顯然難以令人信服。
如何構(gòu)建相對公允的AI評測方案？
討論了手機(jī)AI芯片評測中的種種不公平，那么是不是有某種方式可以構(gòu)建相對公允的AI評測機(jī)制呢？
說老實(shí)話，在今天AI芯片還缺乏行業(yè)統(tǒng)一標(biāo)準(zhǔn)，甚至對于行業(yè)目標(biāo)都不甚清晰的狀況下，公允的AI算力評測方案是很難確立的。這有賴于整個(gè)AI產(chǎn)業(yè)與半導(dǎo)體產(chǎn)業(yè)的長期工作。
而就今天情況來看，至少我們可以預(yù)測到未來公允的AI評測方案的幾個(gè)主要趨勢：
1、著眼于高精準(zhǔn)（High Quality）的AI模型加速，而不是目前簡單易用的AI方案。從CPU、GPU的邏輯來看，復(fù)雜任務(wù)一定是評測算力的最高標(biāo)準(zhǔn)。比如今天我們在評測GPU時(shí)，都知道開一個(gè)畫質(zhì)特別好的游戲作為標(biāo)準(zhǔn)。沒有人會用90年代的游戲來評測今天的GPU，這一點(diǎn)在AI評測上同樣適用。
2、分任務(wù)類別，進(jìn)行相對詳細(xì)的AI評測。今天的AI評測集中于圖片識別與處理上，然而視頻的AI加速、游戲的AI賦能、語音類的AI任務(wù)，都需要不同的AI算力賦能方式。相對公允的評測方案，應(yīng)該建立在對AI任務(wù)分門別類，構(gòu)建一整套評測機(jī)制的前提下。
3、浮點(diǎn)計(jì)算是AI評測的重要方面。AI的精準(zhǔn)度，會是未來提升用戶體驗(yàn)的主要方向。比如說視頻里的摳圖、高精人像留色等等，這都需要浮點(diǎn)運(yùn)算能力對AI的支持。這種直接提升用戶體驗(yàn)的能力，應(yīng)該納入AI評測重點(diǎn)考慮的范疇。
4、從應(yīng)用端的體驗(yàn)來評測AI算力。AI任務(wù)的最終目的是應(yīng)用，那么從應(yīng)用體驗(yàn)角度，通過完整的AI應(yīng)用來測試加速效果，構(gòu)建圍繞用戶的核心坐標(biāo)系來反向測評硬件算力，也是一個(gè)可以探索的方案。讓AI評測回到以用戶為重心，顯然比折中主義方案更加靠譜。
當(dāng)然了，到底如何構(gòu)建一個(gè)評測方案，將未來趨勢、用戶體驗(yàn)等維度完整納入AI算力的測試范疇，是一項(xiàng)任重道遠(yuǎn)的工作。而同時(shí)我們也應(yīng)該注意到，在AI芯片領(lǐng)域，絕不應(yīng)該構(gòu)建一個(gè)“算力跑分為王”的機(jī)制，畢竟消費(fèi)者是否體驗(yàn)和熱愛AI，才是最好的衡量標(biāo)準(zhǔn)。
AI的本質(zhì)是“經(jīng)世致用”：評測之外，更應(yīng)該關(guān)注體驗(yàn)賽場
不同于CPU和GPU，AI算力不是在加速某一種恒定的運(yùn)算任務(wù)，而是對千奇百怪的任務(wù)構(gòu)建加速體系。
這或許可以看作AI和經(jīng)典計(jì)算在本質(zhì)上的區(qū)別。AI的本質(zhì)目標(biāo)是帶來體驗(yàn)差異化。讓消費(fèi)者可以獲得有溫度、有感知、千人千面的終端體驗(yàn)。換句話說，AI在手機(jī)中的歸宿，不是數(shù)據(jù)化表現(xiàn)，而是算力經(jīng)歷產(chǎn)品化之后帶給消費(fèi)者的綜合體驗(yàn)。
而消費(fèi)者最終的感受，其中很大一部分顯然是無法用數(shù)據(jù)來衡量的。但這也不是說移動(dòng)AI就不應(yīng)該進(jìn)行數(shù)據(jù)評測，而是應(yīng)該認(rèn)識到這一產(chǎn)業(yè)的復(fù)雜性，將那些不好量化的體驗(yàn)維度納入考量體系。
AI最終能否讓消費(fèi)者體驗(yàn)到真正的價(jià)值，依靠的是手機(jī)的產(chǎn)品化能力和應(yīng)用開發(fā)者。如果產(chǎn)品端、開發(fā)端沒有將AI算力進(jìn)行有效利用，那么再強(qiáng)的算力也是枉然。這就好像倉庫里有各種名貴食材，然而廚師不會做或者不想做，那食客也只能望著倉庫愴然涕下。
從用戶體驗(yàn)出發(fā)，反向來思考手機(jī)AI的問題，我們會發(fā)現(xiàn)最重要的是算力-產(chǎn)品-開發(fā)者，三方必須構(gòu)成有效的組織關(guān)系。產(chǎn)品端將AI具象成拍照、視頻、游戲等底層能力，開發(fā)者將AI幻化成千變?nèi)f化的腦洞，這樣AI才有長治久安的生命力。
這條AI體驗(yàn)的賽道中，今天來看有三個(gè)要素構(gòu)成了競爭力的核心：
1、算力與硬件設(shè)備一體化聯(lián)動(dòng)能力：為什么驍龍芯片也在強(qiáng)調(diào)AI算力，但是大部分安卓機(jī)的AI表現(xiàn)卻參差不齊？原因在于手機(jī)制造商與芯片廠商是脫離的，從技術(shù)選擇、開發(fā)上都將面臨不同的問題。而高通需要保證的是全球市場的性價(jià)比和可使用性，也不會為單獨(dú)廠商定制AI算力。于是我們看到，蘋果和華為在手機(jī)產(chǎn)品的AI化上具有先天優(yōu)勢，搭載驍龍芯片的安卓機(jī)想要追趕，必須在硬件與芯片的一體化能力上下更大功夫才行。
2、開發(fā)生態(tài)的賦能與扶持：如何引導(dǎo)AI開發(fā)者走入算法的世界，構(gòu)建腦洞清奇的AI應(yīng)用開發(fā)，這是一項(xiàng)百川歸海的開發(fā)者革命。其中需要的或許不僅是強(qiáng)勁算力的支持，還有開發(fā)平臺的完善，以及商業(yè)生態(tài)的勾勒。
3、云端一體化能力：直到今天，到底用服務(wù)器還是終端來處理AI任務(wù)，還是一件具有爭議的事情。從無延遲體驗(yàn)和安全性上來說，端側(cè)AI是大勢所趨。而從未來趨勢上看，云端一體化的AI體驗(yàn)或許才是真正的答案。那么如何從架構(gòu)、算力、開發(fā)平臺等多方面保證云端可以在手機(jī)背后無縫合作，是值得深思的問題，這也是讓用戶收獲AI體驗(yàn)的關(guān)鍵一環(huán)。
總而言之，AI的任務(wù)是“經(jīng)世致用”，是讓用戶感覺到設(shè)備變得不同——而不是主動(dòng)閹割各種能力之后的跑分與評測。
中國人是最了解考試這門學(xué)問的。今天很多給AI設(shè)計(jì)的考試，都還處在未經(jīng)雕琢的原始階段，頗有點(diǎn)讓AI寫八股文的影子。
一場完善的AI考試，是整個(gè)行業(yè)所強(qiáng)烈期待的，但是心急不能解決問題。無論是AI評測還是AI本身，都還是一場山高路遠(yuǎn)的冒險(xiǎn)。
免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
