【中國，深圳，2025年3月21日】在華為中國合作伙伴大會——鯤鵬伙伴產(chǎn)業(yè)峰會上，華為聯(lián)合 openEuler 社區(qū)發(fā)布全棧式 AI 推理方案。通過這套方案，企業(yè)和開發(fā)者可在鯤鵬+xPU硬件上，分鐘級實現(xiàn)模型部署、天級實現(xiàn) AI 助手開發(fā)，推理性能相較于其他開源方案提升10%-50%。該方案從開發(fā)、運行、運行全流程助力企業(yè)實現(xiàn)規(guī)模部署，實現(xiàn)數(shù)智化轉(zhuǎn)型，推動 AI 普惠千行百業(yè)。
sysHAX+GMEM：釋放鯤鵬+xPU算力潛能
如今，大模型已經(jīng)從模型訓(xùn)練階段轉(zhuǎn)向模型推理和智能體開發(fā)階段，操作系統(tǒng)作為連接軟件和硬件的基礎(chǔ)軟件，在使能模型推理和智能體開發(fā)上發(fā)揮著不可代替的作用。在硬件上，目前 openEuler 社區(qū)已經(jīng)適配了昇騰、寒武紀(jì)、摩爾線程、天數(shù)等xPU，并通過 sysHAX，GMEM 等技術(shù)實現(xiàn)推理任務(wù)吞吐量提升10%-50%：
- sysHAX：通過 NUMA 親和性優(yōu)化模型參數(shù)、KVCache調(diào)度、適配鯤鵬SVE指令集等方式，動態(tài)調(diào)度鯤鵬CPU與異構(gòu)算力資源，智能分配 decode 任務(wù)，使推理任務(wù)吞吐量提升10%-30%。
- GMEM：通過加速器透明超分技術(shù)，將主機(jī)內(nèi)存擴(kuò)展至TB級，大模型推理吞吐量提升50%，提供OS原生malloc接口，僅需百行代碼即可接將設(shè)備接入 GMEM，開發(fā)效率提升10倍。
oeDeploy：一鍵分鐘級部署模型推理環(huán)境
oeDeploy 一鍵式軟件編排部署工具是 openEuler 社區(qū)的開源項目，該項目通過編寫配置文件即可實現(xiàn)AI框架、驅(qū)動、第三方組件部署，極大的簡化軟件部署流程。oeDeploy 已經(jīng)支持一鍵式部署 DeepSeek，將原本需3-5天的部署流程縮短至分鐘級，極大的提高 DeepSeek 的部署效率。
歡迎開發(fā)者貢獻(xiàn)自己編寫的 oeDeploy 配置文件
EulerCopilot+RAG：天級開發(fā)一個智能體
RAG 即檢索增強(qiáng)生成技術(shù)。RAG+大模型可以很好的彌補(bǔ)基礎(chǔ)模型缺失行業(yè)數(shù)據(jù)、企業(yè)數(shù)據(jù)的不足，使大模型更懂企業(yè)業(yè)務(wù)，是一種非常高效的開發(fā)行業(yè)智能體應(yīng)用的方法。openEuler Copilot System 平臺已經(jīng)支持 RAG，并對 RAG的智能語料治理、多級檢索優(yōu)化等環(huán)節(jié)進(jìn)行優(yōu)化，回答準(zhǔn)確率高達(dá) 90%。企業(yè)和開發(fā)者可在本地部署 openEuler Copilot System，并輸入行業(yè)數(shù)據(jù)，天級實現(xiàn)企業(yè)智能體應(yīng)用的開發(fā)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
