強強聯(lián)手 百度智能云機器學習平臺BML上線NVIDIA RAPIDS加速庫

原標題:強強聯(lián)手 百度智能云機器學習平臺BML上線NVIDIA RAPIDS加速庫

近日,百度智能云與英偉達合作,通過容器化技術將RAPIDS庫封裝到機器學習平臺BML,并利用Kubernetes進一步管理,做到了開箱即用,高效靈活。

RAPIDS是NVIDIA數(shù)據(jù)科學平臺,包括了一系列開源軟件庫和API,能夠完全地在GPU上加速數(shù)據(jù)科學、機器學習、深度學習和數(shù)據(jù)分析。在機器學習平臺BML,開發(fā)者只要準備好數(shù)據(jù)和訓練代碼,就可以快速啟動訓練任務。在保護用戶數(shù)據(jù)安全的前提下,極大提升了訓練的速度與便捷程度,為開發(fā)者帶來福音。

機器學習平臺BML,一站式開發(fā)與部署

百度智能云機器學習平臺BML是一款端到端的AI開發(fā)和部署平臺。基于機器學習平臺BML,用戶可以一站式完成數(shù)據(jù)處理、模型訓練與評估、服務部署等工作。平臺提供高性能的集群訓練環(huán)境,海量算法框架與模型案例,以及操作便捷的預測服務工具。用戶可以專注于模型與算法本身,并得到優(yōu)質的模型與預測效果。

機器學習平臺BML包含工作區(qū)、訓練和預測三大模塊。

工作區(qū)為用戶提供了基于Jupyter Lab的運行環(huán)境,方便用戶輕松構建深度學習模型并為訓練任務做好準備;訓練模塊提供了豐富的機器學習框架以及自動調參工具,其中深度學習框架包括PaddlePaddle、TensorFlow和PyTorch,傳統(tǒng)機器學習包括RAPIDS cuML以及百度自研的機器學習算法;預測模塊可按照部署模型應用的需求,合理的配置調度預測服務資源,搭建部署高可用的在線預測集群服務。支持部署多種深度學習框架、機器學習框架訓練生成的模型種類,支持實現(xiàn)在線流量分流和A/B Test。

RAPIDS加速庫,更多熱門功能并提供 GPU 加速

RAPIDS是針對數(shù)據(jù)科學的NVIDIA GPU加速庫的集合,包括深度學習、機器學習和數(shù)據(jù)分析?;贑UDA-X AI,RAPIDS包括用于加速深度學習原語的cuDNN、用于加速機器學習算法的cuML、用于加速數(shù)據(jù)處理的cuDF、用于優(yōu)化推理的訓練模型的TensorRT?以及超過15個其他的庫。它們一起與NVIDIA Tensor Core GPU無縫協(xié)作,加速開發(fā)和部署基于AI的應用程序的端到端的工作流。CUDA-X AI可以集成到深度學習框架中,包括TensorFlow、PyTorch和MXNet。

RAPIDS通過cuDF加速庫,能夠讓GPU加速計算應用到更多機器學習的算法與場景當中,為數(shù)據(jù)科學家提供標準化的流水線式工具。例如,數(shù)據(jù)處理方面,RAPIDS將會通過數(shù)據(jù)準備、數(shù)據(jù)合并、數(shù)據(jù)降維三個步驟加速處理數(shù)據(jù)。使得數(shù)據(jù)科學家可以加快迭代和測試速度,提供更準確的預測結果,從而改善業(yè)務成果。

RAPIDS還引入了不斷發(fā)展壯大的全新GPU加速ML算法(cuML)庫,其中包括XGBoost、Kalman、K-means、KNN、DBScan、PCA、TSVD、OLS 線性回歸、Random forest、Kalman Filtering 等算法。

BML+RAPIDS,開箱即用,快速安全

機器學習平臺BML通過容器化技術封裝了RAPIDS庫,并通過Kubernetes管理這些容器,具有開箱即用、啟動快速、安全等優(yōu)勢。目前機器學習平臺BML在訓練模塊集成了RAPIDS庫,并且支持包含NVIDIA V100、P4 GPU在內的多種GPU套餐。在訓練模塊,用戶只要準備好數(shù)據(jù)和訓練代碼,就可以快速啟動基于RAPIDS的訓練任務。

當用戶啟動訓練任務之后,機器學習平臺BML會自動下載用戶數(shù)據(jù)并啟動訓練腳本;訓練結束之后,平臺會自動上傳訓練過程中日志和模型輸出,最后銷毀容器,平臺不會保留用戶的任何數(shù)據(jù),確保用戶數(shù)據(jù)的安全性。

如何在機器學習平臺BML平臺上,使用RAPIDS

在機器學習平臺BML的訓練模塊中,選擇機器學習,然后新建作業(yè)。如圖4-1所示,在新建作業(yè)頁面的算法或框架中,選擇RAPIDS-cuML。由于機器學習平臺BML提供了默認配置,用戶只要點擊確定就可以快速啟動一個RAPIDS-cuML訓練任務。

圖4-1 新建RAPIDS-cuML作業(yè)

對于用戶代碼,機器學習平臺BML提供了2種錄入方式:選取代碼文件和直接編輯代碼。在選取代碼文件中,用戶先上傳訓練代碼到百度智能云的對象存儲中,然后在代碼文件路徑中指定路徑即可。在直接編輯代碼中,如圖4-2所示,機器學習平臺BML提供了多種RAPIDS-cuML代碼模版,用戶可以直接使用這些代碼模版。

圖4-2 直接編輯代碼的代碼模版

對于用戶數(shù)據(jù),分為輸入數(shù)據(jù)和輸出數(shù)據(jù)。輸入數(shù)據(jù)分為訓練數(shù)據(jù)和測試數(shù)據(jù)。如果用戶想使用自己的數(shù)據(jù)進行訓練,可以先將數(shù)據(jù)上傳到百度智能云對象存儲中,然后在機器學習平臺BML中指定對應的路徑。輸出數(shù)據(jù)包含訓練過程中的日志和用戶保存在當前輸出目錄下的內容,由于要保存輸出數(shù)據(jù),因此輸出數(shù)據(jù)路徑是必選參數(shù)。目前輸出數(shù)據(jù)路徑支持百度智能云上的對象存儲,只要用戶設置一個對象存儲路徑即可。

集群配置中,用戶可以選擇機器學習平臺BML集群、資源套餐等配置。目前機器學習平臺BML支持RAPIDS-cuML單機訓練任務,可以選擇多種GPU套餐。在機器學習平臺BML的NVIDIA V100 GPU單卡套餐上,使用GPU加速的Kmeans訓練任務,可以獲得45倍以上的加速;使用GPU加速的XGBoost訓練任務,可以獲得33倍的加速。

注:GPU配置V100 16GB顯存;CPU配置Intel Xeon Gold 6148,12個邏輯核心。

機器學習作為人工智能的核心,是使機器具有智能的根本途徑,其應用遍及人工智能的各個領域,一直是百度智能云研發(fā)的重點方向之一。百度智能云自主開發(fā)的端到端機器學習平臺BML,自面向企業(yè)與開發(fā)者開放之日起,就獲得了廣泛好評,這次與英偉達的強強聯(lián)手,更進一步提升了機器學習平臺BML的性能。未來,百度智能云將繼續(xù)攜手更多合作伙伴,為各領域提供最先進的技術與最全面的能力,助推產(chǎn)業(yè)智能化升級。

免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。

2019-09-12
強強聯(lián)手 百度智能云機器學習平臺BML上線NVIDIA RAPIDS加速庫
目前機器學習平臺BML在訓練模塊集成了RAPIDS庫,并且支持包含NVIDIA V100、P4 GPU在內的多種GPU套餐。

長按掃碼 閱讀全文