12月30日消息(南山)近日,幻方量化旗下的DeepSeek公司宣布發(fā)布全新系列模型DeepSeek-V3首個(gè)版本,并同步開源。
DeepSeek-V3為自研MoE模型,671B參數(shù),激活37B,在14.8T token上進(jìn)行了預(yù)訓(xùn)練。
DeepSeek引用評(píng)測(cè)報(bào)告指出,DeepSeek-V3多項(xiàng)評(píng)測(cè)成績(jī)超越了阿里旗下Qwen2.5-72B和Meta旗下Llama-3.1-405B等其他開源模型,并在性能上和世界頂尖的閉源模型GPT-4o以及Claude-3.5-Sonnet不分伯仲。
令業(yè)界震驚的是,DeepSeek-V3訓(xùn)練僅花費(fèi)了557.6萬(wàn)美元,在2048xH800集群上運(yùn)行55天完成,還很坦誠(chéng)地公布了技術(shù)細(xì)節(jié)。
相比之下,GPT-4o這樣的模型訓(xùn)練成本約為1億美元。
這一成果已經(jīng)引起海外注意。其中,OpenAI創(chuàng)始成員Karpathy點(diǎn)評(píng)稱,DeepSeek-V3讓在有限算力預(yù)算上進(jìn)行模型預(yù)訓(xùn)練這件事變得容易。它看起來比Llama 3 405B更強(qiáng),訓(xùn)練消耗的算力卻僅為后者的1/11。
這意味著算力成本的大幅下降,也意味著大模型領(lǐng)域在經(jīng)歷了“百模大戰(zhàn)”后,可能會(huì)迎來新一輪的大模型產(chǎn)品競(jìng)爭(zhēng)。
- 藍(lán)牙信道探測(cè):室內(nèi)傳感領(lǐng)域的一場(chǎng)靜悄悄的革命
- 混合云到底是什么?為什么越來越多企業(yè)都在用?
- 物聯(lián)網(wǎng)合規(guī)指南:應(yīng)對(duì)當(dāng)今監(jiān)管挑戰(zhàn)的策略與實(shí)踐
- 醫(yī)療物聯(lián)網(wǎng)如何重塑患者安全
- 為什么要構(gòu)建能源系統(tǒng)的網(wǎng)絡(luò)彈性
- SRv6核心標(biāo)準(zhǔn)RFC9800發(fā)布,互聯(lián)網(wǎng)技術(shù)又一次飛躍
- 千家周報(bào)|上周熱門資訊 排行榜(06月30日-07月06日)
- 從自動(dòng)化到自治化:Agentic AI重塑工業(yè)未來
- 國(guó)產(chǎn)機(jī)器狗速度突破每秒10米,刷新世界記錄;聯(lián)通發(fā)布智慧社區(qū)平臺(tái)3.0 助力未來社區(qū)建設(shè)——2025年07月07日
- 自動(dòng)化2025:重塑世界的四大自動(dòng)化力量
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。