2024中國生成式AI大會上海站圓滿收官，第二日AI Infra峰會演講精華一文看盡

為期兩天的2024中國生成式AI大會（上海站）12月6日圓滿收官。兩天內(nèi)，51位產(chǎn)學研投嘉賓代表密集輸出干貨爆棚，大會報名咨詢?nèi)藬?shù)超4000人，超過1200位觀眾到場參會。其中，在主會場進行的大模型峰會、AI Infra峰會的線上觀看人次更是超過104萬。

現(xiàn)場參會觀眾們的熱情十分高漲，主會場、分會場座無虛席，展覽區(qū)附近的產(chǎn)業(yè)交流也十分活躍，15家企業(yè)的諸多新產(chǎn)品新技術(shù)都引起了廣泛關(guān)注和討論。

▲大會展區(qū)

此次大會以“智能躍進 創(chuàng)造無限”為主題，51位產(chǎn)學研投嘉賓代表基于前瞻性視角解構(gòu)和把脈生成式AI的技術(shù)產(chǎn)品創(chuàng)新、商業(yè)落地解法、未來趨勢走向與前沿研究焦點。

今天主會場進行的AI Infra峰會上，上海交通大學副教授、無問芯穹聯(lián)合創(chuàng)始人兼首席科學家戴國浩認為，業(yè)界更應該關(guān)注單位算力如何實現(xiàn)更高效的token吞吐，大模型實際可用算力不僅取決于芯片理論算力，還可通過軟硬協(xié)同優(yōu)化提高算力利用效率，通過多元異構(gòu)適配放大整體算力規(guī)模。

北電數(shù)智智算云負責人郭文，GMI Cloud亞太區(qū)總裁King.Cui，阿里云智算集群產(chǎn)品解決方案負責人叢培巖，中昊芯英芯片軟件棧負責人朱國梁，光羽芯辰創(chuàng)始人兼董事長周強分別對全棧AI工廠、AI企業(yè)出海如何補齊算力短板、高性能智算集群、國產(chǎn)TPU芯片“No CUDA”軟件棧、通向個人大模型之路幾個主題進行了分享。

楓清科技創(chuàng)始人兼CEO高雪峰，聲網(wǎng)生成式AI產(chǎn)品負責人毛玉杰，騰訊云向量數(shù)據(jù)庫技術(shù)負責人謝宇，Jina AI聯(lián)合創(chuàng)始人兼首席技術(shù)官王楠，Zilliz合伙人、研發(fā)VP欒小凡，英飛流創(chuàng)始人兼CEO張穎峰，Alluxio首席架構(gòu)師傅正佳分別針對“從數(shù)據(jù)到知識：AI重塑百行千業(yè)的基石”、“生成式AI驅(qū)動實時互動的技術(shù)變革與體驗革新”、“TencentVDB向量數(shù)據(jù)庫”、“RAG范式下AI Infra的機遇和挑戰(zhàn)”、“RAG雖強，但向量數(shù)據(jù)庫絕非萬靈藥”、“新一代企業(yè)級多模態(tài)RAG引擎”、“高性能AI數(shù)據(jù)底座”帶來了精彩演講。

下午場的圓桌討論聚焦“大模型行至深水區(qū)，AI Infra的新變化與新機會”，由德聯(lián)資本執(zhí)行董事劉景媛主持，Alluxio首席架構(gòu)師傅正佳，Zilliz合伙人、研發(fā)VP欒小凡，英飛流創(chuàng)始人兼CEO張穎峰三位嘉賓給出了自己的真知灼見。

大會首日，17位嘉賓暢談大語言模型、多模態(tài)大模型、具身智能、AI原生應用、音樂生成、3D AIGC、AI智能體的行業(yè)應用、垂類行業(yè)大模型等前沿議題。

除了大會首日主會場進行的大模型峰會，以及12月6日主會場的AI Infra峰會，大會分會場也在這兩天分別組織了端側(cè)生成式AI技術(shù)研討會、AI視頻生成技術(shù)研討會與具身智能技術(shù)研討會，17位青年學者和技術(shù)專家?guī)砹藞蟾娣窒恚罄m(xù)將會上架這三場收費制研討會的回放。

01.從智算集群到原生加速技術(shù)棧 聚焦產(chǎn)業(yè)落地痛點突破大模型算力瓶頸

AI的發(fā)展帶來了巨大的數(shù)據(jù)、算力以及能源挑戰(zhàn)，作為支撐大模型運行以及生成式AI應用開發(fā)的關(guān)鍵，AI Infra也走到了臺前，發(fā)展勢頭強勁。如何打造優(yōu)質(zhì)的智算中心，如何實現(xiàn)AI從芯片到應用端全產(chǎn)業(yè)鏈的高效協(xié)同？多位嘉賓給出了自己的深入見解。

1、上海交通大學副教授、無問芯穹聯(lián)合創(chuàng)始人兼首席科學家戴國浩

Scaling Law之下，數(shù)據(jù)成為制約AI繼續(xù)發(fā)展的因素之一。以GPT-o1為代表的推理模型可以突破數(shù)據(jù)瓶頸，但計算范式的轉(zhuǎn)變使算力需求呈指數(shù)級增長，可能導致硬件系統(tǒng)能耗開銷供不應求，對行業(yè)的可持續(xù)發(fā)展構(gòu)成挑戰(zhàn)。

對此，戴國浩教授指出，當下業(yè)界更應該關(guān)注單位算力如何實現(xiàn)更高效的token吞吐，讓大模型的實際可用算力不僅取決于芯片理論算力，還可通過軟硬協(xié)同優(yōu)化提高算力利用效率，并通過多元異構(gòu)適配放大整體算力規(guī)模。他分享了其研究團隊在軟硬協(xié)同、多元異構(gòu)與端側(cè)智能方面的研究進展與落地成果，這些成果能助力行業(yè)提升面向大模型場景的token吞吐效率。

2、北電數(shù)智郭文：以AI工廠填補國產(chǎn)算力供給側(cè)與需求側(cè)的產(chǎn)業(yè)鏈斷層

“產(chǎn)業(yè)要發(fā)展，創(chuàng)新不能只是停留在技術(shù)層面，更要從流程、系統(tǒng)和組織進行全面的創(chuàng)新。”北電數(shù)智智算云負責人郭文分享了從算力、算法、數(shù)據(jù)與生態(tài)方面全面構(gòu)建人工智能時代AI生產(chǎn)線的實踐思考。

郭文稱，當下國產(chǎn)芯片落地人工智能產(chǎn)業(yè)的最大問題是，算力供給側(cè)與需求側(cè)之間存在產(chǎn)業(yè)鏈斷層。為此，北電數(shù)智推出首個“國產(chǎn)算力PoC平臺”，以北京數(shù)字經(jīng)濟算力中心為載體打造具備全棧能力的AI工廠，全線適配與拉通場景、模型到芯片層面，推動智算中心從成本中心轉(zhuǎn)化為推動地區(qū)發(fā)展新質(zhì)生產(chǎn)力中心。

3、GMI Clould King.Cui：高穩(wěn)定GPU集群成AI企業(yè)全球化布局關(guān)鍵

中國AI出海加速，算力作為其中的核心生產(chǎn)資料正發(fā)揮重要作用。高穩(wěn)定性的GPU集群能降本增效，幫助企業(yè)在AI全球化浪潮中取勝。

GMI Cloud亞太區(qū)總裁King.Cui提到，為確保GPU集群的高穩(wěn)定性，他們使用了具備主動檢測功能的自研云集群引擎，實現(xiàn)計算、存儲和網(wǎng)絡資源的高效調(diào)配。

GMI Cloud是NVIDIA Top10 NCP，交付前會進行嚴格的驗證流程。GMI Cloud與IDC協(xié)作，提供備件和維修，擁有更短的交付時間，確保停機時間最小化。

4、阿里云叢培巖：靈駿智算集群不僅要實現(xiàn)穩(wěn)定性和極致性能，更要在不同維度支持規(guī)模的極致擴展

阿里云智算集群產(chǎn)品解決方案負責人叢培巖預測，未來模型性能還會隨參數(shù)，數(shù)據(jù)集和算力的增長繼續(xù)提升，Scaling Law仍有增長空間，AI智算集群的設(shè)計范式轉(zhuǎn)向要以GPU為核心。

阿里云推出支持超大規(guī)模分布式訓練的靈駿智算集群，可達到10萬卡擴展規(guī)模，千卡規(guī)模線性加速比達到96%；阿里云自研磐久服務器采用CPU和GPU分離，實現(xiàn)單機提升至16顆GPU；網(wǎng)絡架構(gòu)HPN7.0最大規(guī)?？蛇B接10萬顆GPU。

智算集群穩(wěn)定性至關(guān)重要，阿里云3千卡規(guī)模智算集群，在一個月內(nèi)穩(wěn)定訓練時長占比達99%。

5、光羽芯辰周強：解決“大模型不懂你”問題，個人大模型迎來機遇

作為與通用大模型、行業(yè)大模型、企業(yè)大模型并行發(fā)展的一大分支，個人大模型也進入了快速發(fā)展期。光羽芯辰創(chuàng)始人兼董事長周強稱，個人大模型解決的是“大模型不懂你”的問題，隨著手機、PC、可穿戴、XR等端側(cè)設(shè)備廠商All in AI，個人大模型之路將越走越寬。

他提到，個人大模型也稱為端側(cè)大模型，期待解決端側(cè)智能體在性能、功耗和成本方面的痛點，讓真正的AI手機走進生活。端側(cè)AI具備及時性、可靠性、成本低、隱私保護和定制化五大優(yōu)勢。目前，構(gòu)建端側(cè)大模型的核心是解決存儲帶寬和容量雙重問題。

6、中昊芯英朱國梁：國產(chǎn)TPU芯片“No CUDA”軟件棧的構(gòu)建實踐

中昊芯英芯片軟件棧負責人朱國梁介紹了他們在為國產(chǎn)TPU芯片構(gòu)建“No CUDA”軟件棧的實踐經(jīng)驗。

中昊芯英剎那芯片采用VLIW指令集架構(gòu)，面對龐大的CUDA生態(tài)，他們逐一解決了庫、并行計算與編程方面的問題，全自研用戶態(tài)和內(nèi)核態(tài)驅(qū)動，實現(xiàn)了芯片的高效管理。

為做好生態(tài)兼容，中昊芯英底層軟件棧兼容PyTorch以及所有主流訓推框架，目前，中昊芯英可提供定制的端到端的云智算解決方案，并支持國產(chǎn)操作系統(tǒng)。

02.從企業(yè)智能體、向量數(shù)據(jù)庫到RAG AI Infra基礎(chǔ)軟件涌現(xiàn)諸多新挑戰(zhàn)

下午場，多位嘉賓進一步分享了AI Infra領(lǐng)域關(guān)于智能體開發(fā)管理平臺、實時語音、向量數(shù)據(jù)庫、向量模型、RAG技術(shù)、數(shù)據(jù)編排等方面的行業(yè)觀察和深入見解。諸多新平臺、新產(chǎn)品、新技術(shù)走向前臺，賦能產(chǎn)業(yè)。

1、楓清科技高雪峰：從數(shù)據(jù)到知識，跨越生成式AI與決策智能間的鴻溝

楓清科技創(chuàng)始人兼CEO高雪峰談道，要將生成式AI真正應用到企業(yè)決策場景中，彌合其與決策智能之間鴻溝的技術(shù)突破點，就是在推理框架側(cè)融合符號邏輯推理。

企業(yè)智能化落地需要面臨數(shù)據(jù)孤島、數(shù)據(jù)整合、知識校驗、數(shù)據(jù)實時效等技術(shù)挑戰(zhàn)。楓清科技可以為企業(yè)提供知識引擎與大模型雙輪驅(qū)動的新一代智能體平臺，通過構(gòu)建全鏈路優(yōu)化體系，幫助企業(yè)提升數(shù)據(jù)質(zhì)量，將企業(yè)本地數(shù)據(jù)知識化，并融合大模型沉淀的泛化能力，在知識網(wǎng)絡之上進行符號邏輯推理，實現(xiàn)可解釋的智能，進而使AI在多個場景下能夠?qū)崿F(xiàn)精準、透明的決策支持，推動企業(yè)智能化轉(zhuǎn)型的順利實施。

2、聲網(wǎng)毛玉杰：生成式AI+實時互動，讓人機交互變成真正的心靈交互

聲網(wǎng)生成式AI產(chǎn)品負責人毛玉杰講述了生成式AI出現(xiàn)后實時互動（RTE，Real-Time Engagement）技術(shù)和體驗的變遷。

毛玉杰介紹，2014年至今十年，RTE從服務質(zhì)量走向體驗質(zhì)量；2025年開始，在生成式AI發(fā)展的背景下，RTE向AI RTE變革，開始注重跨模態(tài)體驗質(zhì)量，做多模態(tài)交互、跨模態(tài)轉(zhuǎn)換，為人和模型而設(shè)計，給大模型廠商提供眼睛、耳朵和聲音能力。

毛玉杰說，目前人機對話已經(jīng)達到“聽得懂”的狀態(tài)，期待下一步實現(xiàn)“聽得心”——讓人機交互變成真正的心靈交互。

3、騰訊云謝宇：向量數(shù)據(jù)庫助力企業(yè)挖掘更大數(shù)據(jù)價值

AI時代，向量數(shù)據(jù)庫（VDB）脫穎而出，成為連接結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的樞紐。然而，當VDB被運用于RAG場景時，多款開源RAG架構(gòu)出現(xiàn)了召回率低的問題。

騰訊云向量數(shù)據(jù)庫技術(shù)負責人謝宇介紹，為解決上述挑戰(zhàn)，騰訊首先提升了復雜文檔的識別效果，并對數(shù)據(jù)處理、Embedding、檢索、總結(jié)等其他環(huán)節(jié)進行優(yōu)化，最終實現(xiàn)了90%以上的召回率。

騰訊自研向量檢索引擎OLAMA已上線5年，日均處理8500億次檢索請求。未來，他們還將在性能、成本、業(yè)務效果、容災率等方面發(fā)力，持續(xù)提升產(chǎn)品表現(xiàn)。

4、Jina AI王楠：長文本大模型、RAG長期共存，長窗口向量模型面臨兩大挑戰(zhàn)

大模型存在幻覺、無法保證私有數(shù)據(jù)安全、推理成本高三大問題，Jina AI聯(lián)合創(chuàng)始人兼首席技術(shù)官王楠認為，RAG正是通過縮小大模型生成范圍，保證檢索準確性、實現(xiàn)結(jié)果可溯源，所以長本文大模型不會取代RAG，二者將長期共存。

短窗口會導致上下文背景信息丟失，因此RAG需要長窗口向量模型支持。但長窗口向量模型面臨兩大挑戰(zhàn)，一是推理成本和內(nèi)存消耗會隨窗口長度呈平方線性增長，共享GPU是解決思路之一；二是長窗口使模型無法完整表示細顆粒度語義，解法是增加向量維度和多向量表示。

5、Zilliz欒小凡：向量數(shù)據(jù)庫落地面臨成本及擴展性挑戰(zhàn)，RAG轉(zhuǎn)為Graph RAG

Zilliz合伙人、研發(fā)VP欒小凡分享了向量數(shù)據(jù)庫目前面臨的挑戰(zhàn)以及相應解決方案。

欒小凡稱，2025年新生成的數(shù)據(jù)中，將會有80%以上是非結(jié)構(gòu)化數(shù)據(jù)。在這一數(shù)據(jù)壓力下，向量數(shù)據(jù)庫的落地面臨著成本以及擴展性等方面的種種挑戰(zhàn)。而目前的RAG存在搜索質(zhì)量難、處理長尾查詢能力差、結(jié)果難以解釋和控制、向量存儲成本高等問題。

據(jù)此，欒小凡及其團隊提出了兩個解決思路：一是混合查詢，在單個系統(tǒng)內(nèi)支持密集嵌入、稀疏嵌入和詞匯搜索；二是Graph RAG，將知識圖譜和向量檢索結(jié)合起來。

6、英飛流張穎峰：多模態(tài)RAG新范式

英飛流創(chuàng)始人兼CEO張穎峰認為，RAG作為LLM時代的數(shù)據(jù)庫，目前面臨著三大挑戰(zhàn)——多模態(tài)文檔處理、檢索、語義鴻溝。

針對第一個問題，英飛流訓練了深度文檔理解模型，能對復雜文檔中的多模態(tài)內(nèi)容進行分類處理。而在檢索這一RAG“最后一公里”的問題上，英飛流使用三路召回方案，并增加張量索引進行重排序，這一方案在多模態(tài)RAG上展現(xiàn)出明顯優(yōu)勢。

最后，針對檢索過程中的語義鴻溝，英飛流使用GraphRAG抽取知識圖譜，并與原數(shù)據(jù)進行聯(lián)合檢索，提升檢索質(zhì)量。

7、Alluxio傅正佳：零改造、無侵入策略，打造高性能AI數(shù)據(jù)底座

Alluxio首席架構(gòu)師傅正佳談到了提升大規(guī)模模型訓練效率的兩大挑戰(zhàn)：一是數(shù)據(jù)規(guī)模不斷增長、類型更多元化，因此處理數(shù)據(jù)需要提升算力有效利用率；二是當數(shù)據(jù)喂到訓練平臺上，數(shù)據(jù)IO訪問瓶頸會導致算力處于低利用率狀態(tài)。

這一背景下，Alluxio提供了統(tǒng)一的數(shù)據(jù)視圖、豐富協(xié)議轉(zhuǎn)化、高性能數(shù)據(jù)訪問，以打造整體數(shù)據(jù)服務。其方案通過零改造、無侵入策略，可以使算法工程師仍按原有方式工作，無需改變已有腳本，并且客戶已經(jīng)有的大量存量數(shù)據(jù)不需要進行私有化協(xié)議改造。

03.AI 2.0時代，大模型行至深水區(qū) AI Infra迎來變革

在圓桌論壇環(huán)節(jié)，幾位嘉賓分享了對于“大模型行至深水區(qū)，AI Infra的新變化與新機會”這一主題的行業(yè)洞察，以及各自公司的產(chǎn)品和技術(shù)是如何解決AI應用中的核心痛點的。

作為主持人的德聯(lián)資本執(zhí)行董事劉景媛提到，兩年前，ChatGPT將生成式AI推到臺前，迎來AI 2.0時代，Scaling Law和數(shù)據(jù)量的大規(guī)模增長給AI Infra帶來了非常大的增量機會。兩年后的今天大模型行至深水區(qū)，AI Infra在幫助大模型及相關(guān)產(chǎn)品的落地的過程中，產(chǎn)品邊界和功能需求逐漸明晰。

▲劉景媛

對于Infra這類研發(fā)周期長、工程復雜程度高的軟件產(chǎn)品，開源社區(qū)或許可以貢獻一些能量，使產(chǎn)品迭代及技術(shù)選型更貼合實際需求，同時提升項目本身的關(guān)注度和影響力。

另外，“go global”也幾乎成為Infra軟件的必選項，一方面有商業(yè)的考量，另外中國工程師的勤奮和工程攻堅能力全球有目共睹。值得關(guān)注的是，在資源有限的情況下也要做好取舍（無論是功能方面還是業(yè)務模式方面）。

Zilliz作為向量數(shù)據(jù)庫企業(yè)，其產(chǎn)品可以處理大體量非結(jié)構(gòu)化數(shù)據(jù)，挖掘數(shù)據(jù)價值。對AI 2.0時代的需求變化，Zilliz合伙人、研發(fā)VP欒小凡認為，AI技術(shù)在去年被高估、今年被低估，往后看AI落地還需要等一個機會，這也是整個范式的發(fā)展機會。

談到開源，欒小凡感慨道，Zilliz目前正處于最具挑戰(zhàn)的階段，一方面要讓產(chǎn)品滿足客戶需求，另一方面要讓產(chǎn)品變現(xiàn)。

▲欒小凡

當下，AI Infra公司出海已經(jīng)成為必答題。欒小凡認為出海的前提條件就是產(chǎn)品要有先發(fā)優(yōu)勢，在擴展性、功能等方面碾壓競品。產(chǎn)品定制方面，欒小凡的觀點是Zilliz幾乎不做定制。原因在于其所處的賽道已經(jīng)足夠大，沒有必要執(zhí)著于將自己打造成大而全的平臺。

AI時代，數(shù)據(jù)量的暴增對存儲提出巨大挑戰(zhàn)。Alluxio首席架構(gòu)師傅正佳介紹，他們通過分布式數(shù)據(jù)編排軟件系統(tǒng)，高效連接存儲與計算。Alluxio很早就注意到存算分離的趨勢，并在數(shù)據(jù)遠程訪問環(huán)節(jié)重點發(fā)力，回應了AI存儲挑戰(zhàn)。

Alluxio的存儲系統(tǒng)兼具開閉源版本，傅正佳認為開源幫助他們保持了與技術(shù)前沿的同步，也打出了知名度，但他們也面臨著商業(yè)化和部分開源用戶貢獻程度低的問題。Alluxio目前正積極出海，傅正佳分享，海內(nèi)外團隊的優(yōu)勢互補與產(chǎn)品的本地化是其中的關(guān)鍵。

▲傅正佳

英飛流創(chuàng)始人兼CEO張穎峰稱，RAG用起來很容易，但做好非常困難。公司能做成RAG的核心在于，把做系統(tǒng)的人和做AI的人融合在了一起去做產(chǎn)品。

談及開源，張穎峰說，開源是商業(yè)化的一種策略，而不是為了開源而開源；為了出海必須開源，但創(chuàng)業(yè)第一天就要想明白產(chǎn)品企業(yè)版和開發(fā)者版之間的區(qū)別。

▲張穎峰

目前英飛流的Infra產(chǎn)品還沒有進入商業(yè)化階段，結(jié)合過往創(chuàng)業(yè)經(jīng)歷，張穎峰稱，商業(yè)化過程中，創(chuàng)始人必須對每個產(chǎn)品的特性和定制化的邊界有非常清晰的認識。

04.結(jié)語：生成式AI產(chǎn)業(yè)化落地加速 上中下游全產(chǎn)業(yè)鏈呼喚合作共贏

過去一年，生成式AI的發(fā)展度過了波瀾壯闊的一年，整個產(chǎn)業(yè)鏈成為全球創(chuàng)新、投資和應用最活躍的領(lǐng)域之一，每位參與者都在與時間賽跑。

Sora掀起視頻生成熱潮，多模態(tài)世界模型的研究熱度漸起。更具革命性的推理模型o1悄然出世，基座大語言模型不再持續(xù)狂飆，不僅價格戰(zhàn)、營銷戰(zhàn)硝煙燃起，融資熱度降溫，Scaling Law是否撞墻更是在年底引發(fā)熱議。

行業(yè)賦能持續(xù)進行，包括智能體在內(nèi)的應用層的興起仍然備受期待。同時，大模型向邊端下沉的趨勢日趨明顯，AI手機、AI PC等AI硬件紛紛站上風口。不止AI硬件，大模型驅(qū)動下的具身智能更是熱度空前，人形機器人正開啟星辰大海。

作為智能產(chǎn)業(yè)的長期觀察者，我們期待見證并記錄中國生成式AI浪潮之變，并將持續(xù)邀請這股浪潮中的生力軍們，分享他們最新的技術(shù)進展與商業(yè)化探索。

隨著為期兩天的2024中國生成式AI大會（上海站）圓滿收官。2025年線下大會也將正式啟動，除了1月14日的全球自動駕駛峰會，圍繞AI芯片、生成式AI等領(lǐng)域的線下大會也已規(guī)劃上了，敬請期待。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。