今天,AI技術(shù)發(fā)展呈指數(shù)級增長,而AI創(chuàng)新也逐漸走向更底層的算法創(chuàng)新。
一味追求超大模型規(guī)模、超高硬件算力已經(jīng)不再是主流,通過底層算力架構(gòu)和前沿算法創(chuàng)新,硬件性能得以更充分地釋放、模型在實際應(yīng)用中的性能實現(xiàn)暴漲。
一系列底層技術(shù)革新讓AI創(chuàng)新加速涌入千行百業(yè)。
我們看到,行業(yè)更加聚焦AI在具體場景、具體應(yīng)用中的實際表現(xiàn),關(guān)注模型實際解決任務(wù)的效率和成本,模型如何從可用能用走向易用好用?
這樣的行業(yè)大背景下,AI開放生態(tài)的發(fā)展完善變得至關(guān)重要,AI創(chuàng)新蓬勃發(fā)展、真正實現(xiàn)AI普惠,必然需要百花齊放而非一枝獨秀。
一方面,開放生態(tài)能更好地激發(fā)創(chuàng)新,讓技術(shù)可以更快速地迭代,大幅提升企業(yè)和開發(fā)者的創(chuàng)新效率;另一方面,開放生態(tài)可以更好地形成合力,事半功倍,加速AI普及,讓整個市場蛋糕更快做大。
在今年的鯤鵬昇騰開發(fā)者大會上,華為昇騰秀出了諸多重磅技術(shù)升級,通過構(gòu)建全棧開放生態(tài)、高能效的算力底座賦能開發(fā)者,這種加速AI涌向千行百業(yè)的開放模式具有極高行業(yè)價值:真正自主可控的中國AI創(chuàng)新基座,正愈發(fā)堅實。
作為昇騰AI核心軟件平臺的昇騰異構(gòu)計算架構(gòu)CANN,無疑是此次大會的焦點,其分層開放策略,計算、通信、內(nèi)存等領(lǐng)域的硬核技術(shù)迭代創(chuàng)新,都是推動AI開發(fā)效率與性能提升的關(guān)鍵。而諸多行業(yè)巨頭基于昇騰CANN技術(shù)和生態(tài)實現(xiàn)的優(yōu)秀案例,都證明其在實際應(yīng)用場景中落地的巨大潛力。
昇騰CANN,正為中國大模型創(chuàng)新提供更堅實的底層支撐,帶來更多機遇。
一、深度開放夯實開發(fā)者武器庫,兼顧效率性能,三大核心技術(shù)突破重構(gòu)AI算力基因
創(chuàng)新與開放在AI新時代可以說是強綁定的兩個關(guān)鍵詞,唯有開放,才能更好地促進創(chuàng)新。
直觀來看,昇騰CANN是連接昇騰硬件算力和上層AI應(yīng)用的關(guān)鍵,是真正實現(xiàn)硬件高效使能AI的核心技術(shù)平臺。當(dāng)下,如何實現(xiàn)AI在具體場景、具體產(chǎn)品中高效落地已經(jīng)成為行業(yè)焦點,結(jié)合自主可控需求的高漲,昇騰CANN的重要作用不言而喻。
自2024年宣布深度開放以來,昇騰CANN的開放深度、開放策略一直在持續(xù)迭代,華為昇騰計算業(yè)務(wù)總裁張迪煊在大會上提到,使能每一位創(chuàng)新者,激發(fā)創(chuàng)新潛能,就是昇騰CANN的核心理念。
▲華為昇騰計算業(yè)務(wù)總裁 張迪煊
2024年5月,昇騰AI開發(fā)者峰會官宣了深度開放策略,支持開發(fā)者基于昇騰進行大模型原生創(chuàng)新;同年7月,昇騰CANN關(guān)鍵的高層組件開放代碼到Gitee社區(qū),客戶和合作伙伴開始進行自主創(chuàng)新,一系列優(yōu)秀案例加速涌現(xiàn)。
從能用到好用、易用,六年多時間里,昇騰AI生態(tài)穩(wěn)步迭代,昇騰CANN也在不斷進化。從2023年大模型爆發(fā)浪潮中構(gòu)筑能力、厚積薄發(fā),到2024年深度開放,幫助客戶加速落地,再到2025年創(chuàng)新走向底層,行業(yè)對極致性能的需求越來越高,同時需求差異化愈發(fā)凸顯,CANN不斷迎來新的挑戰(zhàn)。
可以看到,CANN的開放是與產(chǎn)業(yè)變化共同成長的,是有生命力的,是真正從產(chǎn)業(yè)中來到產(chǎn)業(yè)中去的,能夠幫產(chǎn)業(yè)解決問題,帶來價值的。
今天,從Ascend C算子編程語言、AOL算子加速庫、GE圖引擎、HCCL集合通信庫、畢昇編譯器、Runtime運行時到Driver驅(qū)動,昇騰CANN不斷豐富高層、底層組件,充實開發(fā)者們的武器庫,與AI創(chuàng)新扎向底層的大趨勢齊頭并進。
開放生態(tài)是否優(yōu)秀、能否得到行業(yè)認(rèn)可、形成良性閉環(huán),有兩個比較直觀易懂的評價維度:一個是開放模式是否易用適用、一個是開放的東西到底夠不夠好用。
分層開放是昇騰CANN一直堅持的開放模式,可以更好地讓開發(fā)者匹配場景需求,進而兼顧算子性能與開發(fā)效率。有豐富的參考樣例支持匹配場景魔改,進而實現(xiàn)敏捷開發(fā);底層原子級能力支持靈活組合,讓開發(fā)者可以更好地挖掘硬件性能。
昇騰CANN針對不同技術(shù)層級的開發(fā)者推出了差異化開放策略。比如在算法創(chuàng)新層,開發(fā)者可基于業(yè)務(wù)場景進行”魔改式”創(chuàng)新;在系統(tǒng)優(yōu)化層,CANN開放了190多個底層接口,得以釋放硬件的原子級能力。
在編譯生態(tài)層,通過開放畢昇編譯器的AscendNPU IR接口,開發(fā)者可以在接入Triton后直接使用Python語法編寫高性能算子,底層硬件差異被完全抽象化,這可以說是開發(fā)范式的變革。
除了分層開放架構(gòu)對開發(fā)效率的提升,昇騰CANN在核心技術(shù)層面的突破是AI算力重構(gòu)、硬件性能充分釋放的關(guān)鍵,計算、內(nèi)存、通信可以說是實現(xiàn)這一目標(biāo)“三駕馬車”。
計算層面,針對MoE大模型訓(xùn)練場景的”卡脖子”難題,昇騰CANN推出了超級算子MLAPO,將MLA前處理耗時從行業(yè)平均109ms壓縮至45ms,在金融風(fēng)控模型、廣告推薦系統(tǒng)中實現(xiàn)了20%以上的端到端性能提升,打破Transformer架構(gòu)的算力瓶頸。
內(nèi)存層面,面對動態(tài)shape場景的”內(nèi)存碎片化”痼疾,CANN研發(fā)的多重地址映射技術(shù)可以實現(xiàn)內(nèi)存碎片的自動化拼接利用,讓京東商品搜索、騰訊短視頻推薦等業(yè)務(wù)場景的內(nèi)存利用率提升了20%以上,突破了單卡可承載并發(fā)請求量行業(yè)極限。
在分布式訓(xùn)練領(lǐng)域,CANN打造的NPUDirect通信算法將傳統(tǒng)RDMA通信所需的3對同步精簡為1次原子操作,讓科大訊飛語音大模型的跨機通信時延下降了90%,走通了萬卡級分布式訓(xùn)練可行性路徑。
值得注意的是,技術(shù)領(lǐng)先的基礎(chǔ)是架構(gòu)層面的領(lǐng)先,昇騰NPU+昇騰CANN的模式徹底打破了海外主流算力平臺的獨大,在效率、成本上都實現(xiàn)了快速看齊甚至是超越,這是中國自主可控AI算力架構(gòu)底座的底氣所在。
可以看到,三個領(lǐng)域的核心技術(shù)突破形成的協(xié)同效應(yīng),一方面實現(xiàn)了單點性能的指數(shù)級提升,同時構(gòu)建起了“芯片級優(yōu)化+系統(tǒng)級調(diào)度+集群級協(xié)同”的全棧能力,AI算力技術(shù)正式邁入”原子級精準(zhǔn)調(diào)優(yōu)”的時代。
二、30+產(chǎn)學(xué)伙伴入局,中國智算擁抱昇騰AI生態(tài),海量AI底層創(chuàng)新涌現(xiàn)
昇騰CANN已經(jīng)為行業(yè)搭好舞臺,隨著深度開放策略的逐步深化,各路行業(yè)頭部企業(yè)、優(yōu)秀開發(fā)者以及高校團隊都亮出了諸多亮眼的創(chuàng)新成果。自主可控的中國AI底層創(chuàng)新所涌現(xiàn)出的巨大潛力,令人欣喜。
從巨頭到創(chuàng)企,從高校到個人,我們看到昇騰CANN正在諸多領(lǐng)域加速AI創(chuàng)新的涌現(xiàn)。
比如科大訊飛的訊飛星火大模型X1就基于Ascend C進行了極致軟硬協(xié)同優(yōu)化,雙方團隊針對諸多關(guān)鍵算子進行了共創(chuàng)共研,性能收益十分顯著。
科大訊飛副總裁、AI工程院院長潘青華提到,訊飛和昇騰的結(jié)緣可以追溯到2019年,訊飛使用昇騰從敢用、真用、會用到用好走過了四個階段,今年3月,訊飛基于昇騰算力率先實現(xiàn)了MoE模型大規(guī)??绻?jié)點并行集群的推理,整個推理的性能提升了3倍。
作為AI Infra創(chuàng)企的無問芯穹也與昇騰一起,基于CANN進行深度優(yōu)化創(chuàng)新,針對大模型推理集群部署中的通信開銷問題進行技術(shù)攻關(guān),實現(xiàn)單算子性能提升20%,顯著降低了算力資源消耗。
可以看到,如今算法和應(yīng)用的創(chuàng)新已經(jīng)從單點創(chuàng)新變成了軟硬協(xié)同的系統(tǒng)性創(chuàng)新,昇騰與企業(yè)之間的合作就更為重要,算法和應(yīng)用對于硬件的需求可以被更早的傳遞。AI算法應(yīng)用可以跑的更穩(wěn)、跑的更快,CANN正幫助企業(yè)以更低成本、更高性能加速AI應(yīng)用落地。
在高校科研領(lǐng)域,清華大學(xué)計圖團隊聯(lián)合昇騰研發(fā)的MoE專用算子體系,通過調(diào)用aclGraph模型調(diào)度接口與INT4量化技術(shù),將DeepSeek-R1模型的推理時延降低50%,驗證了原子能力組合創(chuàng)新的巨大潛力。
西北工業(yè)大學(xué)軟件學(xué)院副教授徐韜團隊基于CANN平臺構(gòu)建垂直模型,通過多模態(tài)感知技術(shù)對抑郁癥患者進行初篩,整個系統(tǒng)目前已經(jīng)部署到西安交大第一附屬醫(yī)院。
功能足夠強大、生態(tài)優(yōu)秀,同時自主可控,這是徐韜教授團隊最看重三點,也是昇騰CANN的優(yōu)勢所在。
華南理工大學(xué)計算機科學(xué)與工程學(xué)院教授、博士生導(dǎo)師陸璐提到,他們從2022年就開始了與華為的合作,他們希望能在國內(nèi)平臺上“把跑不起來的應(yīng)用跑起來”,達(dá)到更好的性能。
▲華南理工大學(xué)計算機科學(xué)與工程學(xué)院教授、博士生導(dǎo)師陸璐
在探索中他們發(fā)現(xiàn),只要熟悉昇騰編程平臺,了解其體系架構(gòu),經(jīng)過不斷優(yōu)化,性能可以從50%提升到100%,甚至在某些應(yīng)用場景達(dá)到200%到500%。
值得一提的是,高校科研成果可以與昇騰CANN生態(tài)融合,進一步促進雙方的共同成長,給產(chǎn)業(yè)帶來更大價值。
比如陸教授團隊參與開源的模板庫就可以提升開發(fā)者的開發(fā)效率,同時,團隊開發(fā)的算子以及編譯優(yōu)化的工具可以直接嵌入到CANN中,提升昇騰基礎(chǔ)軟件庫的性能。
我們可以看到,昇騰CANN平臺是一個開放性平臺,同時也是一個成長性平臺,只有產(chǎn)學(xué)界各方加入到生態(tài)當(dāng)中,共同繁榮生態(tài)圈,才能使其更好的進步。
除了與企業(yè)和高校碰撞出火花,昇騰CANN同樣給個人優(yōu)秀開發(fā)者帶來了巨大價值和影響。
天津理工大學(xué)電氣工程與自動化學(xué)院人工智能專業(yè)2022級學(xué)生王富平從2023年就開始參加昇騰AI創(chuàng)新大賽,隨后一直扎根昇騰AI技術(shù)中,在昇騰CANN異構(gòu)計算架構(gòu)等領(lǐng)域都進行了研究探索,廣泛參與各類創(chuàng)新大賽并取得創(chuàng)新成果。
▲王富平
王富平也成為了首屆“求實創(chuàng)新班”成員,天津市首位華為開發(fā)者布道師。昇騰AI讓諸多優(yōu)秀個人開發(fā)者有機會接觸最前沿的技術(shù)和知識,在實現(xiàn)個人價值的同時貢獻(xiàn)更多社會價值,昇騰CANN生態(tài)也在諸多優(yōu)秀開發(fā)者的支持下快速成長。
從產(chǎn)業(yè)、科研到個人,昇騰CANN給中國科技帶來的影響必將是深遠(yuǎn)的。
目前,昇騰已經(jīng)聯(lián)合互聯(lián)網(wǎng)大廠、運營商、大模型廠商等30多個客戶伙伴創(chuàng)新孵化出260多個高性能算子,覆蓋了主流AI場景,平均整網(wǎng)性能提升超過10%,這無疑是技術(shù)創(chuàng)新和商業(yè)落地的雙重突破。
與此同時,昇騰CANN社區(qū)已經(jīng)上線了超過15個HCCL通信算法及API。通信領(lǐng)域昇騰聯(lián)合10多個客戶伙伴實現(xiàn)了平均50%以上的通信效率提升。
從硬件廠商到模型廠商,從底層算子算法創(chuàng)新到上層訓(xùn)推平臺創(chuàng)新,從高校個人到科研團隊,昇騰CANN創(chuàng)新生態(tài)的深度廣度都在快速拓展,中國智算產(chǎn)業(yè)中堅力量悉數(shù)到場。
三、昇騰CANN跑出“中國速度”,從技術(shù)到商業(yè)生態(tài)閉環(huán),為AI自主創(chuàng)新打牢基建
今天,廣大企業(yè)開發(fā)者和個人開發(fā)者紛紛將創(chuàng)新成果進行分享,為昇騰生態(tài)不斷添磚加瓦,中國AI創(chuàng)新的共贏故事,正在各個行業(yè)各個領(lǐng)域開花結(jié)果,CANN給產(chǎn)業(yè)帶來的價值正愈發(fā)凸顯。
根據(jù)昇騰官方數(shù)據(jù),6年來,有超過60萬開發(fā)者了解CANN、使用CANN、賦予CANN創(chuàng)新活力,在昇騰CANN持續(xù)推進開放,以及產(chǎn)業(yè)各方開發(fā)者、企業(yè)積極參與之下,CANN生態(tài)正在快速成長。目前CANN的算子認(rèn)證開發(fā)者已經(jīng)超過了6000人。
從整網(wǎng)性能和通信效率顯著提升,到大模型推理性能的暴漲,再到構(gòu)筑覆蓋模型開發(fā)、訓(xùn)練加速、部署優(yōu)化的全鏈路技術(shù)生態(tài),CANN正在加速使能多維度創(chuàng)新。
很多人將昇騰CANN比作“中國版CUDA”,但實際上,CANN用6年時間就走完了CUDA十幾年的路,這本身已經(jīng)是一個奇跡。如今基于昇騰NPU+昇騰CANN技術(shù)生態(tài)所能實現(xiàn)的AI應(yīng)用性能已經(jīng)能夠看齊甚至超越CUDA,這更是難能可貴的。
而這遠(yuǎn)不是終點,相比CUDA,昇騰CANN生態(tài)顯然在開放的廣度、深度上都更進一步。作為后來者、挑戰(zhàn)者的昇騰,并不會像CUDA一樣構(gòu)建技術(shù)壁壘,而是會始終堅持開放,昇騰希望給開發(fā)者提供一個更加自由的平臺,真正給中國AI創(chuàng)新應(yīng)用底層鋪路筑基,釋放中國AI創(chuàng)新的巨大潛力。
昇騰CANN正在用一種“基礎(chǔ)層開放+應(yīng)用層共創(chuàng)”的雙輪驅(qū)動模式,推動國產(chǎn)AI產(chǎn)業(yè)鏈的協(xié)同進化,形成從技術(shù)突破到商業(yè)轉(zhuǎn)化的生態(tài)閉環(huán)。
如今有越來越多的企業(yè)在昇騰社區(qū)上獲取到有價值的技術(shù),進一步加速自身的商業(yè)成功,也有越來越多的高校學(xué)者、研究團隊在昇騰CANN生態(tài)中取得科研成就,進一步實現(xiàn)社會價值。
正如陸璐教授所說,他們基于昇騰平臺的研究得到了社會的認(rèn)可,實現(xiàn)了更好的效果,幫助國內(nèi)平臺真正做到了自主創(chuàng)新,提升了我國的算力水平,這是他們團隊獲得最大成就感的地方。
昇騰CANN正不斷加速基礎(chǔ)軟件算法創(chuàng)新,促進多樣性計算產(chǎn)業(yè)發(fā)展和生態(tài)繁榮,如今的CANN正在成為中國開發(fā)者生態(tài)最活躍、技術(shù)迭代最迅猛的AI創(chuàng)新平臺。
與此同時,昇騰CANN也基于昇騰開放平臺提供了完善的人才培養(yǎng)機制,從教學(xué)、培訓(xùn)、研究到各類舉辦各類賽事,頂級AI創(chuàng)新人才不斷涌現(xiàn)。
對于中國AI產(chǎn)業(yè)來說,昇騰AI生態(tài)是實現(xiàn)自立自強的堅強依靠,也是國內(nèi)科技企業(yè)去構(gòu)建自主創(chuàng)新的AI基礎(chǔ)設(shè)施的必然選擇。
結(jié)語:AI底層創(chuàng)新突圍,開放生態(tài)+技術(shù)創(chuàng)新是必由之路
可以看到,從分層開放的生態(tài)架構(gòu)到計算、內(nèi)存、通信等領(lǐng)域的一系列底層技術(shù)突破,昇騰CANN一手開放、一手技術(shù),正給產(chǎn)業(yè)帶來AI創(chuàng)新的新范式。
面對未來的AI新時代,技術(shù)的變革不斷加速、生態(tài)體系的構(gòu)建越來越重要,CANN正成為中國優(yōu)秀開發(fā)者們越來越熟悉、越來越認(rèn)可的“伙伴”,從可用能用到易用好用,逐漸走向舞臺中央,屬于昇騰CANN的時代,正拉開帷幕。
這不僅是一場硬件算力的革命,更是一場開發(fā)者與技術(shù)的共同進化。昇騰CANN正幫助中國AI產(chǎn)業(yè)中的企業(yè)和開發(fā)者不斷突破底層算法創(chuàng)新的瓶頸,釋放潛力,推動中國AI發(fā)展從追趕走向引領(lǐng)。
作者:智東西
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )