作業(yè)幫受邀出任稀土開發(fā)者大會架構(gòu)專場出品人 并暢談大模型推理技術(shù)實踐

6月28日至29日，集行業(yè)前瞻性與實踐性為一體的稀土開發(fā)者大會在京成功舉辦。憑借對前沿科技的持續(xù)探索與深入研究，作業(yè)幫應邀參會，不僅重點參與了架構(gòu)專題的建設，還針對行業(yè)熱點的大模型技術(shù)做了重點分享。

作業(yè)幫線上業(yè)務中心負責人鄭長帥受邀出任架構(gòu)設計和業(yè)務穩(wěn)定性建設出品人，立足行業(yè)，鄭長帥深入?yún)⑴c了本場會議架構(gòu)議題的選材與建設，作業(yè)幫業(yè)務中臺技術(shù)負責人熊定云與聲網(wǎng)、小紅書、海達數(shù)據(jù)庫等技術(shù)負責人場景化的還原了頭部科技企業(yè)在架構(gòu)技術(shù)方面的實踐經(jīng)驗。

穩(wěn)定性是系統(tǒng)架構(gòu)治理的一個重要環(huán)節(jié)。每個業(yè)務都有各自領域的特點和發(fā)展階段，相應地也會遇到穩(wěn)定性挑戰(zhàn)和治理決策的問題。作業(yè)幫的架構(gòu)呈現(xiàn)多元化差異化、跨平臺多角色強協(xié)同等特點，容量、功能、數(shù)據(jù)、容錯容災、高頻活動的保障便成為了作業(yè)幫架構(gòu)治理的關鍵任務點。

在架構(gòu)專場，熊定云從作業(yè)幫架構(gòu)的整體思考出發(fā)，圍繞作業(yè)幫的架構(gòu)治理方案的設計思路、方法、效果進行了詳細闡述，講解途中穿插實際案例，深入淺出地還原作業(yè)幫架構(gòu)治理的實踐之路。在分享最后，熊定云強調(diào)，對系統(tǒng)的穩(wěn)定性要時刻保持敬畏之心，關注業(yè)務或系統(tǒng)中產(chǎn)生的新變量，持續(xù)迭代認知、堅持必要投入。

此外，作為最早開始教育垂類大模型研發(fā)的企業(yè)，作業(yè)幫AI Infra架構(gòu)師喬顯杰還在大模型部署與推理專題分享了作業(yè)幫大模型推理加速的實踐經(jīng)驗。前沿科技的探索離不開底層技術(shù)的持續(xù)開發(fā)，隨著大模型的發(fā)展，參數(shù)量和計算量越來越大，這些年GPU的算力也在不斷發(fā)展，英偉達每次數(shù)據(jù)中心產(chǎn)品更新的算力都在5-10倍。因此如何充分利用GPU算力是大模型工程的重點。

喬顯杰提到，大模型推理優(yōu)化的重點，是如何充分利用GPU算力資源。因此，避免充分冗余計算、減少非Gemm計算時間、最大化Gemm算力則成為大模型推理優(yōu)化的關鍵步驟。喬顯杰通過開源框架的選擇、量化方式的探索等幾個方面詳細分享了作業(yè)幫大模型的推理實踐。

稀土開發(fā)者大會是由稀土掘金技術(shù)社區(qū)主辦，本屆大會主題為“代碼不止，掘金不?！?，面向開發(fā)者社區(qū)的中堅力量，集結(jié)近百位國內(nèi)外技術(shù)大咖，旨在幫助開發(fā)者拓寬技術(shù)視野，傳播前沿的技術(shù)理念，打造一場業(yè)界標桿級的開發(fā)者技術(shù)盛宴。

生成海報