12月1日消息，阿里云宣布開源通義千問720億參數(shù)模型Qwen-72B。Qwen-72B在10個權(quán)威基準測評創(chuàng)下開源模型最優(yōu)成績，成為業(yè)界最強開源大模型，性能超越開源標桿Llama 2-70B和大部分商用閉源模型。未來，企業(yè)級、科研級的高性能應(yīng)用，也有了開源大模型這一選項。
通義千問還開源了18億參數(shù)模型Qwen-1.8B和音頻大模型Qwen-Audio。至此，通義千問共開源18億、70億、140億、720億參數(shù)的4款大語言模型，以及視覺理解、音頻理解兩款多模態(tài)大模型，實現(xiàn)“全尺寸、全模態(tài)”開源。
業(yè)界最強開源模型，填補中國LLM開源領(lǐng)域空白
Qwen-72B基于3T tokens高質(zhì)量數(shù)據(jù)訓(xùn)練，延續(xù)通義千問預(yù)訓(xùn)練模型一貫以來的強勢表現(xiàn)，在10個權(quán)威基準測評中奪得開源模型最優(yōu)成績，在部分測評中超越閉源的GPT-3.5和GPT-4。
英語任務(wù)上，Qwen-72B在MMLU基準測試取得開源模型最高分；中文任務(wù)上，Qwen-72B霸榜C-Eval、CMMLU、GaokaoBench等基準，得分超越GPT-4；數(shù)學(xué)推理方面，Qwen-72B在GSM8K、MATH測評中斷層式領(lǐng)先其他開源模型；代碼理解方面，Qwen-72B在HumanEval、MBPP等測評中的表現(xiàn)大幅提升，代碼能力有了質(zhì)的飛躍。
在10大權(quán)威測評中，通義千問720億參數(shù)模型獲得開源模型最優(yōu)成績
通義千問720億開源模型部分成績超越閉源的GPT-3.5和GPT-4
Qwen-72B可以處理最多32k的長文本輸入，在長文本理解測試集LEval上取得了超越ChatGPT-3.5-16k的效果。研發(fā)團隊優(yōu)化了Qwen-72B的指令遵循、工具使用等技能，使之能更好地被下游應(yīng)用集成。比如，Qwen-72B搭載了強大的系統(tǒng)指令（System Prompt）能力，用戶只用一句提示詞就可定制AI助手，要求大模型扮演某個角色或者執(zhí)行特定的回復(fù)任務(wù)。
用戶僅用一句提示詞就可創(chuàng)建自己的AI助手
此前，中國大模型市場還沒出現(xiàn)足以對標Llama 2-70B的優(yōu)質(zhì)開源模型。Qwen-72B填補了國內(nèi)空白，以高性能、高可控、高性價比的優(yōu)勢，提供不亞于商業(yè)閉源大模型的選擇。基于Qwen-72B，大中型企業(yè)可開發(fā)商業(yè)應(yīng)用，高校、科研院所可開展AI for Science等科研工作。
發(fā)布會上的另一開源模型Qwen-1.8B是目前尺寸最小的中國開源大模型，推理2K長度文本內(nèi)容僅需3G顯存，可在消費級終端部署。
從18億、70億、140億到720億參數(shù)規(guī)模，通義千問成為業(yè)界首個“全尺寸開源”的大模型。用戶可在魔搭社區(qū)直接體驗Qwen系列模型效果，也可通過阿里云靈積平臺調(diào)用模型API，或基于阿里云百煉平臺定制大模型應(yīng)用。阿里云人工智能平臺PAI針對通義千問全系列模型進行深度適配，推出了輕量級微調(diào)、全參數(shù)微調(diào)、分布式訓(xùn)練、離線推理驗證、在線服務(wù)部署等服務(wù)。
此外，阿里云還首次開源音頻理解大模型Qwen-Audio。Qwen-Audio能夠感知和理解人聲、自然聲、動物聲、音樂聲等各類語音信號。用戶可以輸入一段音頻，要求模型給出對音頻的理解，甚至基于音頻進行文學(xué)創(chuàng)作、邏輯推理、故事續(xù)寫等等。音頻理解能夠賦予大模型接近人類的聽覺能力。
據(jù)介紹，阿里云是國內(nèi)最早開源自研大模型的科技企業(yè)，8月以來開源了Qwen-7B、Qwen-14B和視覺理解模型Qwen-VL。幾款模型先后沖上HuggingFace、Github大模型榜單，得到中小企業(yè)和個人開發(fā)者的青睞，累計下載量超過150萬，催生出150多款新模型、新應(yīng)用。發(fā)布會現(xiàn)場，多位開發(fā)者伙伴現(xiàn)身說法，分享了他們用Qwen開發(fā)專屬模型和特定應(yīng)用的實踐。
阿里云CTO周靖人表示，開源生態(tài)對促進中國大模型的技術(shù)進步與應(yīng)用落地至關(guān)重要，通義千問將持續(xù)投入開源，希望成為“AI時代最開放的大模型”，與伙伴們共同促進大模型生態(tài)建設(shè)。
- 消息稱阿里新模型Qwen3下周發(fā)布
- 國家稅務(wù)總局：去年檢查169名網(wǎng)絡(luò)主播，累計查補收入近9億元
- 首批車網(wǎng)互動規(guī)?；瘧?yīng)用試點公布：9個城市、30個項目
- 賈躍亭：FF月運營費僅500萬美元 相當于某些頭部車企一天的虧損
- 網(wǎng)友曝小米汽車車主行駛中酣睡引爭議 小米客服回應(yīng)
- 特斯拉第一季度全球交付336681輛 同比下降13%
- 扛不住了，馬斯克要辭職！
- “騰訊會議崩了”上熱搜 官方回應(yīng)：工程師正在加速搶修
- 打通社交和商業(yè)的鏈接 通通AI社交集團2024年營收破2.6億元
- 文心一言、文小言APP會員退費已開啟
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
