華為北冥多樣性計算融合架構(gòu)重磅發(fā)布 助力極簡開發(fā)、高效部署、極致性能

9月25日，在華為全聯(lián)接2021上，華為副總裁、計算產(chǎn)品線總裁鄧泰華正式發(fā)布北冥多樣性計算融合架構(gòu)（簡稱“北冥架構(gòu)”）。北冥架構(gòu)是為多樣性計算硬件及集群打造的完整軟件棧，可幫助開發(fā)者在多樣算力環(huán)境下，實現(xiàn)與單機相同的應用開發(fā)和部署體驗，并獲得遠超單一算力的應用性能。

大會上，華為計算產(chǎn)品線研發(fā)總裁熊彥分享了華為在多樣性計算軟件棧方面的技術(shù)創(chuàng)新。他指出，當前多樣性計算已經(jīng)成為計算行業(yè)最重要的趨勢。未來數(shù)據(jù)中心中，除通用算力外的各種多樣性算力占比將越來越大，從單算力到多算力協(xié)同、從單機到集群、從傳統(tǒng)應用到多樣性融合應用，多樣性計算系統(tǒng)給新型應用發(fā)展帶來巨大的潛力和空間，同時也給開發(fā)者帶來極大的挑戰(zhàn)。

北冥架構(gòu)是為多樣性計算硬件及集群打造的使能軟件棧，簡化多樣性計算環(huán)境下的開發(fā)和部署，充分釋放算力性能。熊彥逐一介紹了北冥架構(gòu)的基礎(chǔ)使能、應用使能、開發(fā)使能的各個組件，并結(jié)合演示生動展示了北冥架構(gòu)帶來的價值。

北冥基礎(chǔ)使能

北冥基礎(chǔ)使能

熊彥指出，多樣性計算系統(tǒng)給開發(fā)者帶來了三大挑戰(zhàn)：首先，多樣性算力環(huán)境下的開發(fā)，往往需要使用多種編程語言和工具，導致開發(fā)生態(tài)碎片化。其次，同一應用在不同處理器上部署，代碼難以重用，導致重復開發(fā)。更為重要的是，多種算力間缺乏協(xié)同優(yōu)化手段，無法充分發(fā)揮系統(tǒng)的整體性能。北冥架構(gòu)的基礎(chǔ)使能軟件，即通過畢昇C++編程語言、畢昇編譯器、北冥融合加速庫，為多樣性計算系統(tǒng)提供通用、高效、高性能的開發(fā)能力，助力開發(fā)者更好地應對上述挑戰(zhàn)：

畢昇C++支持SYCL異構(gòu)編程標準，實現(xiàn)了一種語言即可對鯤鵬、昇騰及業(yè)界主流算力進行編程，大大降低了開發(fā)者學習成本。同時，對不同算力的共性特征進行了抽象，實現(xiàn)一套源碼在多樣算力上的重用。畢昇C++通過單語言、單源碼的開發(fā)方式，為開發(fā)者避免了多樣性計算系統(tǒng)的編程復雜性。

畢昇編譯器提供跨多樣算力統(tǒng)一編譯及融合優(yōu)化能力。它通過多指令集支持，實現(xiàn)了一套源碼在鯤鵬、昇騰等算力上的統(tǒng)一編譯，可直接生成融合多種算力代碼的fatbin可執(zhí)行程序，方便地在多樣性計算系統(tǒng)上部署運行。畢昇編譯器通過多樣算力融合優(yōu)化技術(shù)打破了編譯器只能對單算力進行編譯優(yōu)化的限制，實現(xiàn)了跨算力的聯(lián)合編譯優(yōu)化，在SPEC ACCEL基準測試中性能提升30%以上。

北冥融合加速庫則為領(lǐng)域關(guān)鍵功能加速提供基于API的編程調(diào)用。它兼容主流應用框架，實現(xiàn)已有應用生態(tài)的良好對接。北冥融合加速庫為多算力提供統(tǒng)一的API接口，支持AI+大數(shù)據(jù)、HPC+AI、HPDA等融合應用。同時，通過業(yè)界獨有的多算力協(xié)同能力，實現(xiàn)了加速庫性能的大幅提升。

北冥應用使能

北冥應用使能

在多樣性計算集群上開發(fā)融合應用，開發(fā)者不僅要面對大規(guī)模并行應用開發(fā)的復雜性，還需要解決融合應用跨算力部署的難題。更為挑戰(zhàn)的是，從單算力到多樣算力，從單機到集群，應用的全棧性能優(yōu)化變得極其復雜和困難。北冥架構(gòu)通過多瑙統(tǒng)一調(diào)度器、元戎分布式并行開發(fā)框架、昇思科學計算套件，幫助開發(fā)者實現(xiàn)分布式應用的極簡開發(fā)、融合應用的高效部署以及多樣性計算系統(tǒng)的全棧效能最優(yōu)。

多瑙統(tǒng)一調(diào)度器為多樣性算力集群提供應用與資源的最佳匹配。它在多樣性應用統(tǒng)一調(diào)度、多樣性算力資源統(tǒng)一管理的基礎(chǔ)上，通過對應用、算力、存儲、網(wǎng)絡(luò)和能耗的多層次深度感知，建模和智能調(diào)度算法創(chuàng)新，結(jié)合專家系統(tǒng)、實現(xiàn)跨域聯(lián)動、進一步提高了系統(tǒng)效率。未來，多瑙還將通過元調(diào)度器的分級調(diào)度能力支持跨數(shù)據(jù)中心的調(diào)度，為多樣性計算算力網(wǎng)絡(luò)的構(gòu)建提供關(guān)鍵技術(shù)支撐。

元戎是華為面向多樣性計算集群打造的分布式并行開發(fā)框架，目標是讓開發(fā)者在多樣性計算集群上享受單機編程體驗，讓大規(guī)模并行應用的構(gòu)建像搭積木一樣快捷。當前元戎已經(jīng)實現(xiàn)了對數(shù)據(jù)并行和算法并行兩類關(guān)鍵應用開發(fā)場景的支持， 大幅提升了分布式應用開發(fā)的效率。未來，元戎將支持多種計算模式的組合，幫助開發(fā)者更加靈活地在多樣性計算集群中開發(fā)分布式應用。

多樣算力的廣泛部署也正在激發(fā)跨領(lǐng)域應用融合，例如AI正在成為研究科學計算的新范式，為此，華為將昇思MindSpore拓展到科學計算領(lǐng)域，將昇思原有的AI計算引擎升級為AI與科學計算的統(tǒng)一引擎，并面向八大科學計算行業(yè)打造MindScience系列套件。這些行業(yè)套件包含業(yè)界領(lǐng)先的數(shù)據(jù)集、基礎(chǔ)模型、預置高精度模型和前后處理工具，加速科學行業(yè)的應用開發(fā)。

北冥開發(fā)使能

北冥開發(fā)使能

多樣性計算系統(tǒng)下的開發(fā)調(diào)試，也給開發(fā)者帶來了額外的壓力。因為不同處理器的開發(fā)工具鏈各不相同，開發(fā)者在編程編譯、調(diào)試仿真、系統(tǒng)調(diào)優(yōu)、部署等各個環(huán)節(jié)，都會因為系統(tǒng)的多算力環(huán)境而遭遇開發(fā)斷點，需要在工具鏈之間反復切換，體驗差，效率低。多樣性計算系統(tǒng)開發(fā)所需要的仿真與調(diào)測環(huán)境搭建也費時費力。更挑戰(zhàn)的是，由于缺乏多種算力協(xié)同的調(diào)試、調(diào)優(yōu)手段，開發(fā)者往往需要手工在不同的工具鏈之間同步調(diào)試數(shù)據(jù)，反復拼接不同算力系統(tǒng)的調(diào)優(yōu)信息，嚴重限制了開發(fā)生產(chǎn)力。

北冥架構(gòu)的MindStudio統(tǒng)一工具鏈，為開發(fā)者提供統(tǒng)一集成開發(fā)環(huán)境，實現(xiàn)開發(fā)全流程連貫無斷點。通過插件化技術(shù)，MindStudio支持功能的靈活拼裝和開發(fā)流程用戶自定義。為了解決多樣性計算系統(tǒng)開發(fā)效率的問題，MindStudio還專門為開發(fā)者提供了跨算力聯(lián)合調(diào)試、全系統(tǒng)協(xié)同調(diào)優(yōu)、仿真環(huán)境按需集成和開發(fā)資源一鍵獲取等功能，從而為多樣性計算系統(tǒng)提供開發(fā)全流程的支持。

華為為多樣性計算打造的北冥架構(gòu)，將更好地幫助開發(fā)者實現(xiàn)極簡開發(fā)、高效部署、極致性能。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。