Deepseek進入業(yè)務(wù)深水區(qū)，為什么需要昇騰大EP？

DeepSeek讓各行業(yè)引入AI大模型的意識和積極性明顯提高，已推動AI在政務(wù)、能源、制造等領(lǐng)域廣泛鋪展開來。

很多政企用戶接入DeepSeek之后，感受到了AI大模型給業(yè)務(wù)帶來了“旦用難回”的體驗，很快就從試用的第一階段，進入第二階段——大模型推理集群的擴容升級。

當(dāng)“有沒有Deepseek用”不再成為問題，那么“Deepseek好不好用”的挑戰(zhàn)就迎面而來。

一來，人多了，大量訪問請求帶來的高并發(fā)，就像春運高峰期涌入巨大的人流量，會出現(xiàn)請求積壓，模型推理思考時間變長，token吞吐速度下降，用戶的等待時延達(dá)到50-100毫秒，服務(wù)器繁忙和排隊讓人惱火。

二來，機器多了，增加更多服務(wù)器會遇到物理天花板，機器擴容并不會線性提升在線推理服務(wù)的體驗，就像即使增加了更多車廂，但鐵軌承載能力有限，也無法運送更多旅客（AI任務(wù)）了。

當(dāng)行業(yè)智能化進入深度應(yīng)用DeepSeek的第二階段，不得不面臨高并發(fā)推理的技術(shù)挑戰(zhàn)。在堆算力的同時，也要同步優(yōu)化性能體驗，相當(dāng)于想要運送更多乘客，不僅要增加車廂數(shù)量，還要同步改造軌道、站臺和管理機制，將老式火車升級為高鐵，才能綜合提高運輸效率。

以DeepSeek為例，前不久公布了其利潤率，高達(dá)545%，其中就涉及大量工程化能力，比如引入大EP推理集群，實現(xiàn)高并發(fā)推理吞吐量指數(shù)級增長。

對于更多行業(yè)和企業(yè)來說，沒有DeepSeek那樣的極客天才和頂尖技術(shù)團隊，怎樣用大EP來解決高并發(fā)推理挑戰(zhàn)呢？當(dāng)AI大模型開始進入千行萬業(yè)的深水區(qū)，亟需一場大EP的“運力革命”。

很多政企客戶在接入了Deepseek之后，使用量進一步增加，有了擴展推理集群規(guī)模的需求，推理資源需要從2臺擴展到10臺，從16卡擴展到千卡，但擴容升級并不是往機房一放、網(wǎng)絡(luò)一連，就能高枕無憂了。

就像印度仍在使用的老式火車，僅靠增加車廂，還是無法提高運力，每個乘客能占用的火車空間極小，體驗很差，火車不堪重負(fù)，延誤晚點成了家常便飯。類似問題，在Deepseek和各種大模型與業(yè)務(wù)的結(jié)合中，高并發(fā)推理卡住了用戶的體驗瓶頸。

面對上述問題，大EP大規(guī)模專家并行的技術(shù)架構(gòu)，成為趨勢。

簡單來說，大EP就是將MoE（混合專家）模型中數(shù)千個專家，分配到更多的卡（算力）上去。原本一張卡只能拉10個人，有了大EP，可以同時拉100個（高并發(fā)）；原本只能跑一趟車，現(xiàn)在可以同時跑八趟車（提高專家計算路數(shù)batch size），那么乘客就不用長時間等待了。

所以，通過大EP可以提高高并發(fā)推理場景下的計算效率，實現(xiàn)更大的吞吐和更低的時延。用戶體感上，比如一家銀行的工作人員同時訪問Deepseek，不會遇到排隊、延遲、過長等待等情況。

大EP這么好，怎么才能部署到自己的一體機或推理資源池呢？不經(jīng)過一番努力，確實很難吃到大EP的蛋糕。

一方面，推理場景的算力需求指數(shù)級擴展，而海外廠商的推理芯片如H20，雖然顯存高，但算力不足，處理大EP場景時吞吐驟降。Deepseek公開的論文來看，仍然使用H800來進行推理。更強算力且供應(yīng)鏈穩(wěn)定的推理硬件，是大EP必不可少的。

另一方面，當(dāng)請求總量猛增之后，會帶來多種多樣的負(fù)載，且極不均衡，相當(dāng)于有的車廂坐的人多，有的車廂坐的人少，負(fù)載不均一樣會導(dǎo)致體驗不佳。

此外，大EP場景的All-to-All通信，導(dǎo)致卡間通信占比時間高，相當(dāng)于每個車廂的專家都要通知到，這就會耽誤進出站的效率。NVLink在大EP場景中，實際有效帶寬利用率就不足。

由此可見，當(dāng)行業(yè)使用Deepseek進入深水區(qū)，面對高并發(fā)推理場景，不能抱有“頭疼醫(yī)頭腳疼醫(yī)腳”的僥幸心理，而需要通盤思考和系統(tǒng)攻堅。

今天來看，各行各業(yè)擁抱Deepseek不是追逐一時風(fēng)口，而是對智能化發(fā)展趨勢的長期價值判斷。普惠LLM進入千行萬業(yè)，已經(jīng)是大勢所趨。

而大EP無法順利被行業(yè)用起來，就意味著接入Deepseek始終存在時延高、體驗差、成本難優(yōu)化的問題，那么行業(yè)智能化也就無法順利達(dá)成。

不過也不必過于擔(dān)心，Deepseek、科大訊飛等模廠，與昇騰等算力廠商，以及政企行業(yè)用戶，一直保持著緊密協(xié)作與溝通，自開年Deepseek熱潮以來，從部署實踐中沉淀了大量技術(shù)創(chuàng)新。

近期，昇騰推出了大EP解決方案，面向高并發(fā)推理場景，一站式升級為智能化“高鐵”。

具體來說，昇騰大EP解決方案借助五大關(guān)鍵技術(shù)，與昇騰算力深度協(xié)同優(yōu)化，成功突破了“專家負(fù)載均衡+通信優(yōu)化”兩大難題。

針對專家負(fù)載不均的難題：

昇騰大EP解決方案提出了MoE負(fù)載均衡技術(shù)，可以自動尋優(yōu)，根據(jù)業(yè)務(wù)情況、集群規(guī)模，找到最優(yōu)的專家，自動預(yù)測哪個專家更忙，自動配比，當(dāng)一個專家負(fù)載過多時自動講解，從而實現(xiàn)了備份節(jié)點和副本專家靈活可擴展、高可用和極致均衡，性能得到極大提升。

采用多種創(chuàng)新技術(shù)，做到自適應(yīng)的autoPD分離部署。根據(jù)Prefill和Decode的動態(tài)負(fù)載，進行P、D實例的自動伸縮，無需人工介入，從而減少計算訪存資源競爭。結(jié)合多級緩存內(nèi)存資源池化，對冷熱溫數(shù)據(jù)進行區(qū)分，可以讓系統(tǒng)的有效吞吐提升50%以上。

針對All-to-All通信優(yōu)化的難題：

昇騰大EP解決方案提出了雙流/多維混合并行，其中Prefill micro-batch雙流并行，可以實現(xiàn)計算和通信的相互掩蓋；MoE expert專家雙流并行，實現(xiàn)兩條數(shù)據(jù)流Stream的并行計算；Weight權(quán)重預(yù)取雙流并行，可以把訪存和通信并行起來，降低權(quán)重加載時間，提升效率。

MLA預(yù)處理階段，昇騰大EP解決方案把大量的小算子，合成為大的融合算子，將計算耗時降低70%，讓算力能力充分發(fā)揮出來。

如果你覺得上述技術(shù)創(chuàng)新多、不好記，那么只需要，借助昇騰大EP解決方案，行業(yè)應(yīng)用Deepseek時，可以做到：

快。訪問Deepseek無需等待。昇騰大EP可以將單卡并發(fā)提升3倍，Decode階段響應(yīng)速度穩(wěn)定在50ms以內(nèi)，支撐600+并發(fā)請求。

省。業(yè)務(wù)使用Deepseek上量之后，推理集群擴展的同時，性能也保持線性度，擴容綜合成本更優(yōu)。

正如高鐵改變了中國人的出行，昇騰大EP為高并發(fā)推理鋪設(shè)了一條“高速鐵路”，改變了Deepseek上量擴容階段的體驗，為行業(yè)智能化提速增效。

僅用兩個多月的時間，Deepseek就完成了從試用階段到擴容階段的進階。高并發(fā)推理場景和大EP技術(shù)架構(gòu)，成為應(yīng)用Deepseek的新挑戰(zhàn)。這也提醒我們，行業(yè)智能化是一個循序漸進的過程，不可能一蹴而就。

自主創(chuàng)新算力與國產(chǎn)模型如同高鐵的雙軌，成為支撐起智能中國的“新基建”。昇騰生態(tài)之所以與Deepseek等大模型更加適配，答案逐步清晰明確。

首先，昇騰有硬件，為行業(yè)智能化提供“永不沉降”的算力路基。昇騰硬件的FP16和INT8算力，可達(dá)到H20的2倍以上，且功耗更低，足以支撐各行業(yè)智能化的平穩(wěn)前進。

此外，昇騰有軟硬件的協(xié)同優(yōu)化能力。隨著行業(yè)智能化的不斷深入，AI模型對算力需求不斷擴張，但硬件的物理天花板和企業(yè)的投入產(chǎn)出比，都要求計算性能持續(xù)優(yōu)化。昇騰的AI軟硬件，提供從預(yù)訓(xùn)練到微調(diào)到強化學(xué)習(xí)，到推理集群、一體機，全流程全覆蓋的方案，可以快速響應(yīng)客戶需求，高效支撐技術(shù)創(chuàng)新。目前，昇騰與DeepSeek最新技術(shù)已經(jīng)實現(xiàn)了“day0”級別同步，確保企業(yè)智能化在昇騰軟硬件基座上，始終行駛在技術(shù)最前沿。

更重要的是，昇騰有伙伴。行業(yè)智能化是一個體系化工程，不是單一硬件或軟件廠商就能獨自完成的。在自主創(chuàng)新算力生態(tài)中，昇騰一方面兼容主流生態(tài)與PyTorch等國內(nèi)外框架，同時與ISV伙伴、各大模廠都保持著緊密共生與合作。這意味著，當(dāng)行業(yè)用戶基于昇騰底座開發(fā)AI應(yīng)用，能得到生態(tài)的全方位助力，減少智能化升級的阻力，降低綜合成本。

今天，智能化已經(jīng)成為全球經(jīng)濟發(fā)展的主航道。在自主算力與國產(chǎn)模型所鑄就的雙軌上，行業(yè)智能化也將走深向遠(yuǎn)，向著智能時代飛馳。

生成海報

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。