支付寶AI最新進展：發(fā)布多模態(tài)醫(yī)療大模型

7月5日消息，支付寶今日公布其AI技術(shù)在醫(yī)療領(lǐng)域布局的最新進展：發(fā)布多模態(tài)醫(yī)療大模型。這也是國內(nèi)首批多模態(tài)醫(yī)療大模型之一。

支付寶醫(yī)療大模型的基座模型為螞蟻百靈大模型。據(jù)螞蟻集團大模型應用部總經(jīng)理顧進杰介紹，螞蟻百靈大模型已具備能“看”會“聽”、能“說”會“畫”的原生多模態(tài)能力，可以直接理解并訓練音頻、視頻、圖、文等多模態(tài)數(shù)據(jù)。

在這個基礎上，支付寶醫(yī)療大模型添加了包含報告、影像、藥品等百億級中英文圖文、千億級醫(yī)療文本語料及千萬級高質(zhì)量醫(yī)療知識圖譜，中英文醫(yī)療考試、基準測試達到或超過GPT4水準。

顧進杰補充說，全棧自研醫(yī)療多模態(tài)結(jié)構(gòu)，使得模型識別報告、藥品、毛發(fā)等圖像準確率達90%以上，相關(guān)技術(shù)在行業(yè)頂尖技術(shù)期刊與會議CVPR、KDD、ECCV等發(fā)表了多項成果。

目前，該多模態(tài)醫(yī)療大模型不僅提供智能問答、病歷結(jié)構(gòu)化和檢索、輔助診斷，還可識別解讀藥品及上百種復雜的醫(yī)學報告，進行毛發(fā)健康檢測等，這些都能嵌入醫(yī)院等機構(gòu)醫(yī)療環(huán)節(jié)全流程。

顧進杰表示，AI的深度應用，不僅對數(shù)據(jù)、算法、算力提出了更高要求，也對可靠、安全、隱私提出更多挑戰(zhàn)，醫(yī)療場景下，保障技術(shù)可靠與數(shù)據(jù)隱私安全，至關(guān)重要。為此，支付寶面向行業(yè)推出全新的“醫(yī)療可信一體機+可信云”的解決方案，通過密態(tài)計算與存儲，讓醫(yī)療數(shù)據(jù)可用不可見，機構(gòu)保管更安全。

據(jù)介紹，百靈醫(yī)療可信一體機，核心解決醫(yī)院面臨的算力不足痛點，可實現(xiàn)開箱即用，訓推一體，支持國產(chǎn)算力，軟硬件協(xié)同優(yōu)化加速。醫(yī)療大模型可信云方案，通過公有云與專有云部署密態(tài)推理，聚焦解決數(shù)據(jù)隱私安全和商業(yè)機密保護問題。

據(jù)了解，2014年支付寶支持全國第一筆遠程掛號繳費，經(jīng)過十年發(fā)展，平臺已服務超6億看病就醫(yī)人群。目前，全國300多個城市、超3600家醫(yī)院在支付寶上提供一站式數(shù)字醫(yī)療服務。（周小白）

生成海報