11月1日，F(xiàn)acebook開(kāi)源了Horizon，一個(gè)由Facebook的AI研究人員、推薦系統(tǒng)專家和工程師共同搭建的強(qiáng)化學(xué)習(xí)平臺(tái)，其框架的構(gòu)建工作開(kāi)始于兩年半前，在過(guò)去一年中一直被Facebook內(nèi)部使用。
公司或研究團(tuán)隊(duì)可以在Horizon平臺(tái)大規(guī)模部署AI執(zhí)行各種操作，達(dá)到同樣的效果可能需要幾千個(gè)CPU或GPU訓(xùn)練數(shù)以十億計(jì)的觀測(cè)報(bào)告。而利用Apache Spark進(jìn)行預(yù)處理和PyTorch訓(xùn)練AI系統(tǒng)，Horizon同樣可以部署在單臺(tái)計(jì)算機(jī)上。
Facebook的產(chǎn)品團(tuán)隊(duì)已經(jīng)利用Horizon平臺(tái)提供諸如M Suggestions的服務(wù)，該服務(wù)能推薦翻譯工具、Spotify歌單、Food Network食譜，以及各種基于Facebook Messenger對(duì)話用詞的其他事物。Horizon還能被用來(lái)確定Facebook 360視頻碼率和個(gè)性化設(shè)置Facebook應(yīng)用程序的推送通知。
強(qiáng)化學(xué)習(xí)通過(guò)獎(jiǎng)勵(lì)（rewards）來(lái)驅(qū)動(dòng)智能體（agents）的活動(dòng)以達(dá)到預(yù)期目標(biāo)。Facebook開(kāi)源Horizon主要是為了推進(jìn)強(qiáng)化學(xué)習(xí)的發(fā)展，同時(shí)為AI領(lǐng)域的新手、學(xué)生和需要數(shù)千臺(tái)機(jī)器訓(xùn)練AI系統(tǒng)的大型研究項(xiàng)目提供無(wú)監(jiān)督學(xué)習(xí)的方法。
谷歌曾利用強(qiáng)化學(xué)習(xí)訓(xùn)練DeepMind AI如何導(dǎo)航虛擬酷跑的路線，加州大學(xué)伯克利分校的研究人員也曾借此訓(xùn)練計(jì)算機(jī)的“好奇心”。對(duì)Facebook而言，強(qiáng)化學(xué)習(xí)將是AI產(chǎn)業(yè)的下一個(gè)前沿技術(shù)，在機(jī)器學(xué)習(xí)中會(huì)被廣泛采用，該公司相信強(qiáng)化學(xué)習(xí)也有助于改進(jìn)大型系統(tǒng)和應(yīng)用程序，也希望看到強(qiáng)化學(xué)習(xí)的新方法和應(yīng)用，尤其在機(jī)器人和游戲領(lǐng)域。
Facebook對(duì)開(kāi)源工具的AI培訓(xùn)和部署并不陌生，公司在今年10月份把深受歡迎的深度學(xué)習(xí)框架PyTorch 1.0集合到谷歌云、AWS和Azure機(jī)器學(xué)習(xí)平臺(tái)，同期發(fā)布的還有用于AI模型訓(xùn)練的Caffe2和Parlai框架。除了PyTorch和Apache Spark，AI愛(ài)好者還能用TensorBoard X進(jìn)行可視化訓(xùn)練，在完成訓(xùn)練之后還可以利用ONNX使AI模型在不同框架之間進(jìn)行轉(zhuǎn)移。
不同于其他形式的強(qiáng)化學(xué)習(xí)，Horizon可以離線訓(xùn)練AI系統(tǒng)。Horizon使用一種被稱為反事實(shí)策略評(píng)估（counterfactual policy evaluation）的技術(shù)來(lái)評(píng)估AI系統(tǒng)的離線性能，確定替代方法是否比在線運(yùn)行的性能更好。
Facebook認(rèn)為Horizon是第一個(gè)“利用強(qiáng)化學(xué)習(xí)規(guī)格化大規(guī)模數(shù)據(jù)集訓(xùn)練的開(kāi)源端對(duì)端的平臺(tái)”，該平臺(tái)配有步進(jìn)式的用法說(shuō)明，只要具備計(jì)算機(jī)基礎(chǔ)知識(shí)的人士都可以在Faecbook的Horizon GitHub資源庫(kù)中進(jìn)行克隆和嘗試，不局限于大型公司的研究人員和專家。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
