螞蟻集團推出新型大模型，國產(chǎn)芯片助力訓練成本大幅降低，引領(lǐng)人工智能新潮流
隨著科技的飛速發(fā)展，人工智能（AI）已成為推動社會進步的重要力量。尤其在自然語言處理（NLP）領(lǐng)域，大模型已經(jīng)成為推動技術(shù)進步的關(guān)鍵。近日，螞蟻集團Ling團隊在預印版Arxiv平臺發(fā)表技術(shù)成果論文《每一個FLOP都至關(guān)重要：無需高級GPU即可擴展3000億參數(shù)混合專家LING大模型》，宣布推出兩款不同規(guī)模的MoE（混合專家）大語言模型——百靈輕量版和百靈增強版，并提出一系列創(chuàng)新方法，實現(xiàn)在低性能硬件上高效訓練大模型，顯著降低成本。這一突破性成果，無疑將引領(lǐng)人工智能新潮流。
首先，我們要理解螞蟻集團Ling團隊推出的這兩款新型大模型的特點和優(yōu)勢。百靈輕量版參數(shù)規(guī)模為168億（激活參數(shù)27.5億），性能達到行業(yè)領(lǐng)先水平。而百靈增強版基座模型參數(shù)規(guī)模高達2900億（激活參數(shù)288億），性能同樣卓越。這兩款模型在實驗中表現(xiàn)出色，能夠在使用國產(chǎn)GPU的低性能設備上完成高效訓練，性能與完全使用英偉達芯片、同規(guī)模的稠密模型及MoE模型相當。
更重要的是，螞蟻集團Ling團隊提出的目標——“不使用高級GPU”擴展模型，通過創(chuàng)新訓練策略，突破資源與預算限制。這一目標對于許多資源受限的環(huán)境來說，具有重大的現(xiàn)實意義。團隊采用的策略包括：架構(gòu)與訓練策略革新，采用動態(tài)參數(shù)分配與混合精度調(diào)度技術(shù)；升級訓練異常處理機制，自適應容錯恢復系統(tǒng)縮短中斷響應時間；優(yōu)化模型評估流程，自動化評測框架壓縮驗證周期超50%；突破工具調(diào)用能力，基于知識圖譜的指令微調(diào)提升復雜任務執(zhí)行精度。這些策略的實施，使得在低性能硬件上也能高效訓練大模型，顯著降低了成本。
再者，螞蟻集團的技術(shù)成果若得到驗證推廣，將助力國產(chǎn)大模型尋找成本更低、效率更高的國產(chǎn)芯片或其他替代方案，進一步降低對英偉達芯片的依賴。這不僅意味著成本的降低，更意味著技術(shù)自主可控的推進，對于國家安全和產(chǎn)業(yè)發(fā)展都具有重大意義。
值得注意的是，螞蟻集團的技術(shù)突破并非孤例。近年來，隨著AI技術(shù)的飛速發(fā)展，越來越多的科研機構(gòu)和企業(yè)開始關(guān)注并投入到大模型的研究和應用中。在此背景下，國產(chǎn)芯片在訓練大模型中的應用也得到了顯著提升。以英偉達為代表的國外芯片廠商一直占據(jù)著AI市場的領(lǐng)先地位，而隨著國內(nèi)芯片技術(shù)的進步，越來越多的企業(yè)開始探索使用國產(chǎn)芯片進行大模型的訓練。這無疑為降低訓練成本、提高訓練效率開辟了新道路。
此外，螞蟻集團Ling團隊在論文中還展示了在五種不同硬件配置下，對9萬億個token進行預訓練的結(jié)果。結(jié)果顯示，使用高性能硬件配置訓練1萬億token的預訓練成本約635萬元人民幣，而采用螞蟻優(yōu)化方法后，低規(guī)格硬件訓練成本降至508萬元左右，節(jié)省近20%，且性能與阿里通義Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相當。這一結(jié)果進一步驗證了螞蟻集團Ling團隊的創(chuàng)新訓練策略的有效性。
總的來說，螞蟻集團推出新型大模型，以及國產(chǎn)芯片在訓練大模型中的應用，都顯示出人工智能領(lǐng)域的巨大潛力和發(fā)展前景。我們期待看到更多的科研機構(gòu)和企業(yè)投入到這一領(lǐng)域的研究和應用中來，共同推動人工智能技術(shù)的發(fā)展，為人類社會的進步做出更大的貢獻。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
