每經(jīng)編輯｜畢陸名

目前，螞蟻集團(tuán)Ling團(tuán)隊(duì)的技術(shù)成果論文《每一個(gè)FLOP都至關(guān)重要：無需高級(jí)GPU即可擴(kuò)展3000億參數(shù)混合專家LING大模型》已發(fā)表在預(yù)印版Arxiv平臺(tái)上。

論文顯示，螞蟻集團(tuán)推出了兩款不同規(guī)模的MoE大語言模型——百靈輕量版（Ling-Lite）與百靈增強(qiáng)版（Ling-Plus），前者參數(shù)規(guī)模為168億（激活參數(shù)27.5億），Plus基座模型參數(shù)規(guī)模高達(dá)2900億（激活參數(shù)288億），兩者性能均達(dá)到行業(yè)領(lǐng)先水平。

據(jù)技術(shù)成果論文，雖然DeepSeek、阿里通義千問、MiniMax等系列的MoE大模型在特定任務(wù)中展現(xiàn)出卓越性能，但是MoE模型的訓(xùn)練通常依賴高性能計(jì)算資源（如英偉達(dá)H100/H800等先進(jìn)GPU），高昂成本制約了在資源受限環(huán)境中的普及應(yīng)用。同時(shí)，近年來英偉達(dá)高性能芯片持續(xù)短缺，相比之下，低性能加速器供應(yīng)更充足且單機(jī)成本更低。這種差異凸顯了構(gòu)建跨異構(gòu)計(jì)算單元與分布式集群無縫切換技術(shù)框架的必要性。

因此，Ling團(tuán)隊(duì)設(shè)定的目標(biāo)是“不使用高級(jí)GPU”來擴(kuò)展模型，并通過提出創(chuàng)新性的訓(xùn)練策略，旨在突破資源與預(yù)算限制實(shí)現(xiàn)高效大語言模型訓(xùn)練，從而推動(dòng)AI技術(shù)向普惠化方向發(fā)展。

據(jù)技術(shù)論文，Ling團(tuán)隊(duì)在五種不同的硬件配置上對(duì)9萬億個(gè)token進(jìn)行Ling-Plus的預(yù)訓(xùn)練，其中使用高性能硬件配置訓(xùn)練1萬億token的預(yù)訓(xùn)練成本約為635萬元人民幣，但利用螞蟻的優(yōu)化方法后，使用低規(guī)格硬件的訓(xùn)練成本將降至508萬元左右，節(jié)省了近20%，最終實(shí)現(xiàn)與阿里通義Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相當(dāng)?shù)男阅堋?/p>

此前，DeepSeek通過一系列算法創(chuàng)新及工程優(yōu)化，使用性能較低的英偉達(dá)H800訓(xùn)練出了性能與頂尖模型相當(dāng)?shù)腣3與R1，為大模型的訓(xùn)練開辟了新的道路，讓更多的企業(yè)和研究機(jī)構(gòu)看到了降低成本、提高效率的可能性。如果螞蟻集團(tuán)的技術(shù)成果得到驗(yàn)證及推廣，意味著國產(chǎn)大模型能夠?qū)ふ页杀靖汀⑿矢叩膰a(chǎn)芯片或其他替代方案，以進(jìn)一步降低對(duì)英偉達(dá)芯片的依賴。

螞蟻集團(tuán)正加碼AI醫(yī)療產(chǎn)業(yè)布局，3月21日，其對(duì)外公布了在醫(yī)療機(jī)構(gòu)、醫(yī)生、用戶三端最新AI產(chǎn)品體系升級(jí)。其中，面向醫(yī)療機(jī)構(gòu)，螞蟻聯(lián)合華為醫(yī)療衛(wèi)生軍團(tuán)、阿里云等推出“螞蟻醫(yī)療大模型一體機(jī)”全棧式解決方案；面向好大夫在線29萬注冊(cè)醫(yī)生，發(fā)布AI醫(yī)生助手系列工具；同時(shí)，服務(wù)用戶的健康應(yīng)用“AI健康管家”也推出智能思考、健康自測(cè)等十余項(xiàng)新功能。

除了AI以外，螞蟻近期在人形機(jī)器人領(lǐng)域也動(dòng)作頻頻。

今年2月，某招聘平臺(tái)信息顯示，螞蟻集團(tuán)開放招聘具身智能人形機(jī)器人系統(tǒng)和應(yīng)用等崗位，年薪高達(dá)百萬元。而早在去年12月，螞蟻集團(tuán)就注冊(cè)成立了上海螞蟻靈波科技有限公司，聚焦具身智能技術(shù)和產(chǎn)品研發(fā)。

每日經(jīng)濟(jì)新聞綜合公開信息

免責(zé)聲明：本文內(nèi)容與數(shù)據(jù)僅供參考，不構(gòu)成投資建議，使用前請(qǐng)核實(shí)。據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。

封面圖片來源：每經(jīng)記者 孔澤思 攝