近期,DeepSeek開源的3FS系統向全球科技圈力證,通過存儲來優(yōu)化AI推理工作負載,可有效提升大模型性能,同時大幅降低成本。
作為AI原生存儲,3FS的鏈式復制機制、FFRecord格式優(yōu)化等創(chuàng)新設計,不僅重新定義了AI存儲的技術標準,更凸顯了專用存儲系統在支撐超大模型推理中的不可替代性。
從技術角度看,曙光存儲ParaStor與3FS呈現出高度趨同性,二者通過相似的技術路徑共同推動著AI基礎設施的進化。
高性能數據存儲為AI集群釋放算力
曙光ParaStor和3FS都是典型的高性能并行文件系統,這類系統堪稱是最適合AI的數據存儲。
兩者均以RDMA技術為核心傳輸協議,通過零拷貝機制將網絡延遲降至微秒級,有效解決了傳統TCP/IP協議棧在AI集群中產生的CPU資源爭用問題,使200Gbps網卡利用率突破90%。在此基礎上,兩者創(chuàng)新性引入硬件卸載技術,將數據校驗、協議解析等任務交由智能網卡處理。
實測顯示,硬件卸載可使存儲讀響應時間縮短40%,同時釋放30%以上CPU算力用于模型推理。
這種“存儲即服務”的設計理念,徹底顛覆了傳統存儲依賴CPU資源的模式,為AI集群釋放出更多算力空間。
AI專屬優(yōu)化:IO特征適配與智能緩存
針對AI訓練特有的小文件高并發(fā)、數據訪問局部性及混合負載特性,曙光存儲ParaStor和3FS均構建了多層優(yōu)化體系:
元數據分片技術:將百萬量級小文件的元數據請求分散至多個控制節(jié)點,使查詢吞吐量提升5倍以上,支撐萬級客戶端并發(fā)訪問。
智能預取與緩存分層:通過分析訓練任務的數據訪問模式,提前將數據從HDD預加載至NVMe緩存,使ResNet-152單epoch訓練時間縮短18%。
QoS感知調度引擎:動態(tài)分配帶寬與IO優(yōu)先級,確保模型訓練關鍵路徑的服務質量。
彈性進化:EB級存儲的無縫擴展能力
為滿足大模型訓練對海量數據的需求,曙光存儲ParaStor與3FS均采用去中心化架構:
全局命名空間:整合跨地域、跨介質存儲資源,支持千億文件統一管理。
無狀態(tài)彈性擴展:節(jié)點可在線擴展至數千個,容量與性能隨節(jié)點增加線性提升,在GPT-3級場景中實現超1TB/s聚合帶寬。
自適應糾刪碼策略:對熱數據采用多副本保障性能,溫冷數據采用EC 8+3編碼,使空間利用率突破85%。
軟硬一體:構建自主可控的AI存儲基座
3FS的技術突破與ParaStor的國產化創(chuàng)新,共同印證了一個行業(yè)共識:硬件加速、場景化優(yōu)化與分布式架構的深度融合,是突破“存儲墻”的必由之路。
在共性技術之外,曙光ParaStor依托國產硬件生態(tài)優(yōu)勢,實現了自研SSD控制器與智能網卡的協同優(yōu)化,在國產AI芯片適配性上展現出獨特價值。這種自主可控的技術路徑,不僅提升了系統的穩(wěn)定性與安全性,更為我國AI產業(yè)發(fā)展提供了堅實的基礎設施保障。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
