近日，硅基流動(dòng)創(chuàng)始人袁進(jìn)輝在華為云生態(tài)大會(huì)上宣布，硅基流動(dòng)聯(lián)合華為云基于 CloudMatrix 384 超節(jié)點(diǎn)昇騰云服務(wù)和高性能推理框架 SiliconLLM ，用大規(guī)模專(zhuān)家并行最佳實(shí)踐正式上線(xiàn) DeepSeek-R1。
該服務(wù)在保證單用戶(hù) 20 TPS 水平前提下，單卡 Decode 吞吐突破 1920 Tokens/s，可比肩 H100 部署性能。同時(shí)，經(jīng)過(guò)主流測(cè)試集驗(yàn)證及大規(guī)模線(xiàn)上盲測(cè)，在昇騰算力部署 DeepSeek-R1 的模型精度與 DeepSeek 官方保持一致。
其中，通過(guò)架構(gòu)的全面創(chuàng)新，基于新型高速總線(xiàn)架構(gòu)的 CloudMatrix 超節(jié)點(diǎn)集群在總算力、互聯(lián)帶寬、內(nèi)存帶寬上領(lǐng)先業(yè)界。
此前，硅基流動(dòng)在大模型云服務(wù)平臺(tái) SiliconCloud 首發(fā)推出了基于昇騰云的穩(wěn)定生產(chǎn)級(jí) DeepSeek-V3 & R1 推理服務(wù)，并支持模型私有化集群部署，這次合作推動(dòng)基于國(guó)產(chǎn)算力的 DeepSeek-R1 推理服務(wù)持續(xù)升級(jí)。
DeepSeek 風(fēng)暴席卷全球，特別是以其高效、低成本的 MoE 架構(gòu)為應(yīng)對(duì)大模型推理挑戰(zhàn)打開(kāi)了局面。不過(guò)，如果沒(méi)有強(qiáng)大的 AI Infra 技術(shù)能力，要想部署好 DeepSeek 并非易事。
DeepSeek 使用了大規(guī)模專(zhuān)家并行(Expert Parallelism，大 EP 并行)的 MoE 模型架構(gòu)，若采用單機(jī)部署方案，最終的性能遠(yuǎn)不如 DeepSeek 官方公布的部署方案，且至少有數(shù)倍成本差距。更具挑戰(zhàn)的是，雖然 DeepSeek 公開(kāi)了大 EP 并行方案，但技術(shù)難度較大，業(yè)內(nèi)還沒(méi)有其他團(tuán)隊(duì)快速?gòu)?fù)現(xiàn)這一部署方法。
針對(duì)這些難題，硅基流動(dòng)與華為云聯(lián)合攻關(guān)實(shí)現(xiàn)了技術(shù)突破。我們?cè)?CloudMatrix 384 超節(jié)點(diǎn)昇騰云服務(wù)上部署 DeepSeek-R1 時(shí)采納了大規(guī)模專(zhuān)家并行方案，通過(guò)多專(zhuān)家負(fù)載均衡和極致通信優(yōu)化，實(shí)現(xiàn)高吞吐及更高性能，大幅提升了用戶(hù)體驗(yàn)。同時(shí)，我們使用昇騰高性能算子庫(kù)，以及硅基流動(dòng)推理加速框架 SiliconLLM 在模型、機(jī)制、算子上的協(xié)同優(yōu)化，實(shí)現(xiàn)在國(guó)產(chǎn)算力上，不損失模型精度的情況下， 獲得 DeepSeek-R1 推理效率與資源利用率的顯著提升。
硅基流動(dòng)與華為云的合作不僅提供堅(jiān)實(shí)的全國(guó)產(chǎn)軟硬件體系部署方案，讓 DeepSeek 推理服務(wù)更經(jīng)濟(jì)高效，也展現(xiàn)了 AI 生態(tài)合作的強(qiáng)大能量。硅基流動(dòng)將繼續(xù)加深與華為云的聯(lián)合創(chuàng)新，共同提升產(chǎn)品體驗(yàn)，加速模型在更多場(chǎng)景落地。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
