決定AI應用在智能手機上終端還是在云端運行，對于用戶和開發(fā)AI應用的企業(yè)都十分重要，因為這與運行設備的長期電池壽命息息相關。大多數(shù)智能手機都或多或少地嵌入了AI應用，但如果所有的AI工具都在終端運行，有可能導致手機性能下降；而在云端運行，則可能導致較長的調(diào)用時間。
為了解決這一問題，近日Facebook和亞利桑那州立大學建立了一個支持AI減輕設備負荷的模型——AutoScale。該模型能夠自動決策部署AI運行的位置，節(jié)省了大量成本，將AI工具的能效提高到基線方法的10．8倍；更能準確預測AI應用的合適位置，達到高性能和低能耗兼?zhèn)涞睦硐胄Ч?/p>
高能效＋低負荷
AutoScale：挖掘強化學習算法的潛能
AutoScale會觀察當前的AI工作執(zhí)行效率，包括算法的架構特征和運行時間差異。它在協(xié)同處理器等硬件之間選擇，找到能夠最大限度提高能源效率的硬件，以保證AI助手的服務質量。對選定硬件定義的目標執(zhí)行推理后，通過觀察其結果，包括演算運行能耗、延遲度和推理精度，以表明選中的硬件是否提高了AI工作效率。
AutoScale模型
AutoScale基于強化學習算法，計算累計獎勵（R值），來選擇AI工具的最佳運行方式。例如：對于給定的處理器，系統(tǒng)使用基于AI能效利用率的模型計算獎勵，假設處理器內(nèi)核消耗的功率是可變的，內(nèi)核在繁忙和空閑狀態(tài)下花費的處理時間不同，其能源使用情況也各不相同。相比之下，當推理擴展到連接的數(shù)據(jù)中心時，AutoScale可以借助基于信號強度的模型來計算獎勵，預測傳輸延遲度和網(wǎng)絡消耗的能量。
在適應QoS限制條約的前提下，比起基線模型，AutoScale更能提高能效。
12下一頁>（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
