近日，由百易傳媒(DOIT)主辦的“2022數(shù)據(jù)與存儲(chǔ)峰會(huì)”在北京順利舉行，本次大會(huì)以“數(shù)據(jù)覺(jué)醒新時(shí)代”為主題，旨在探討新時(shí)代數(shù)據(jù)存儲(chǔ)的新方向和對(duì)優(yōu)秀企業(yè)進(jìn)行表彰，信服云企業(yè)級(jí)存儲(chǔ)EDS憑借其優(yōu)越性能，接連斬獲“2022年度分布式存儲(chǔ)金獎(jiǎng)”“2022年度文件存儲(chǔ)金獎(jiǎng)”兩項(xiàng)大獎(jiǎng)。
信服云EDS為何能在這次峰會(huì)上連續(xù)獲得兩項(xiàng)大獎(jiǎng)?在深信服存儲(chǔ)解決方案總監(jiān)王志成“存儲(chǔ)如何應(yīng)對(duì)GPU算力爆炸增長(zhǎng)下的小文件性能挑戰(zhàn)”主題演講中我們或許能知道答案。
01GPU算力爆發(fā)式增長(zhǎng)下，存儲(chǔ)面臨哪些挑戰(zhàn)?
王志成指出，以GPU為核心的智能算力比重由2016年的3%提升至2020年的41%，GPU算力高速發(fā)展衍生出大量數(shù)據(jù)密集性行業(yè)應(yīng)用，這些應(yīng)用數(shù)據(jù)的存儲(chǔ)面臨三大挑戰(zhàn)：
存儲(chǔ)架構(gòu)受限，小文件處理性能差
很多業(yè)務(wù)生產(chǎn)過(guò)程都會(huì)產(chǎn)生海量KB級(jí)小文件，比如芯片設(shè)計(jì)的前端設(shè)計(jì)場(chǎng)景，實(shí)景三維建模場(chǎng)景等，但無(wú)論是傳統(tǒng)NAS存儲(chǔ)還是新興的分布式存儲(chǔ)，由于元數(shù)據(jù)處理架構(gòu)、網(wǎng)絡(luò)時(shí)延等限制，都難以有效解決小文件處理性能差的問(wèn)題上。
數(shù)據(jù)量井噴，“存不下”成為主要挑戰(zhàn)
以基因測(cè)序?yàn)槔?，受?dāng)下環(huán)境和人口老齡化的影響，一個(gè)基因測(cè)序服務(wù)企業(yè)每年新增的數(shù)據(jù)量就高達(dá)10PB級(jí)。傳統(tǒng)存儲(chǔ)跟不上現(xiàn)有業(yè)務(wù)的數(shù)據(jù)增長(zhǎng)，想要擴(kuò)展卻要面臨硬件與廠商綁定、成本高昂、擴(kuò)展周期長(zhǎng)等一系列問(wèn)題。
各場(chǎng)景數(shù)據(jù)復(fù)雜，存儲(chǔ)效率提高難
行業(yè)業(yè)務(wù)需求正在呈現(xiàn)多樣化的演進(jìn)趨勢(shì)，對(duì)數(shù)據(jù)存儲(chǔ)的大帶寬支持能力、海量小文件訪問(wèn)延時(shí)和復(fù)雜場(chǎng)景的適應(yīng)性都提出極高的要求，存儲(chǔ)需要更高效的數(shù)據(jù)訪問(wèn)能力。
“在當(dāng)下的環(huán)境，用戶需要一套性能更高、擴(kuò)展性更強(qiáng)的企業(yè)級(jí)存儲(chǔ)系統(tǒng)，來(lái)提升業(yè)務(wù)數(shù)據(jù)生產(chǎn)效率。”王志成這樣說(shuō)到。
02信服云分布式存儲(chǔ)EDS，更高性能突破瓶頸
王志成引用Gartner報(bào)告中“軟件定義是存儲(chǔ)唯一變革性技術(shù)”的觀點(diǎn)，點(diǎn)明未來(lái)存儲(chǔ)的發(fā)展之道。相比傳統(tǒng)存儲(chǔ)，以軟件形式定義存儲(chǔ)可提供更優(yōu)秀的場(chǎng)景適應(yīng)能力、更高的性價(jià)比和更靈活的擴(kuò)容能力，在軟件定義的基礎(chǔ)上，信服云EDS通過(guò)全自研高性能文件系統(tǒng)PhxDFS和五大核心技術(shù)提升存儲(chǔ)綜合能力：
多活元數(shù)據(jù)服務(wù)，性能再提升
為了解決性能不足的問(wèn)題，EDS將一個(gè)完整目錄分片后分發(fā)到各個(gè)存儲(chǔ)節(jié)點(diǎn)處理，充分利用起所有節(jié)點(diǎn)的CPU算力，從而突破元數(shù)據(jù)性能瓶頸。對(duì)比Ceph架構(gòu)的分布式存儲(chǔ)，元數(shù)據(jù)處理能力可提升三倍以上。
元數(shù)據(jù)高效壓縮算法，數(shù)據(jù)“存得下”
在海量小文件場(chǎng)景下，元數(shù)據(jù)的規(guī)?？赡苓_(dá)TB級(jí)，為了將更多的元數(shù)據(jù)緩存到有限的存儲(chǔ)內(nèi)存空間，EDS自研元數(shù)據(jù)壓縮算法，該技術(shù)最大可支持7:1的壓縮比。在百億小文件場(chǎng)景下實(shí)現(xiàn)元數(shù)據(jù)、熱數(shù)據(jù)百分百命中內(nèi)存緩存，讓數(shù)據(jù)“存得下”“找得快”。
數(shù)據(jù)三級(jí)緩存機(jī)制，數(shù)據(jù)訪問(wèn)更快一步
EDS追求高性能的同時(shí)，同樣注重?cái)?shù)據(jù)讀取效率。在專有客戶端模式下，EDS將客戶端內(nèi)存、存儲(chǔ)節(jié)點(diǎn)內(nèi)存和大容量NVMe固態(tài)盤構(gòu)建成三級(jí)緩存，實(shí)現(xiàn)數(shù)據(jù)和元數(shù)據(jù)就近訪問(wèn)，命中即返回，該技術(shù)將熱數(shù)據(jù)的訪問(wèn)時(shí)延降低到us級(jí)別。相比過(guò)去，數(shù)據(jù)訪問(wèn)更快、效率更高。
高性能RDMA網(wǎng)絡(luò)，網(wǎng)絡(luò)時(shí)延再降低
EDS在存儲(chǔ)業(yè)務(wù)網(wǎng)和存儲(chǔ)私網(wǎng)均支持以RoCE v2協(xié)議替代TCP/IP協(xié)議，可將網(wǎng)絡(luò)時(shí)延降低90%以上，業(yè)務(wù)聯(lián)通僅需9-16us，可大幅縮短業(yè)務(wù)數(shù)據(jù)的聯(lián)通時(shí)間。
數(shù)據(jù)智能聚合追加寫，效率再提升
EDS將文件IO在高性能層(NVMe或SATA SSD)聚合后追加寫入容量層(機(jī)械盤)，可有效解決小文件寫放大造成的容量浪費(fèi)，利用機(jī)械盤本身順序?qū)懶阅軆?yōu)勢(shì)，進(jìn)一步降低EC寫懲罰影響，提升寫性能的同時(shí)可有效提升60%以上的回刷速度，進(jìn)一步減少數(shù)據(jù)存儲(chǔ)、調(diào)用的耗時(shí)，提高業(yè)務(wù)效率。
信服云企業(yè)級(jí)存儲(chǔ)EDS保護(hù)數(shù)據(jù)也敬畏數(shù)據(jù)。在不斷的技術(shù)創(chuàng)新中積極實(shí)踐，現(xiàn)已累計(jì)參與交付超過(guò)20000個(gè)客戶和300+例的PB級(jí)項(xiàng)目。在未來(lái)，EDS將持續(xù)打磨產(chǎn)品，與用戶攜手共創(chuàng)高性能存儲(chǔ)時(shí)代的數(shù)據(jù)宏圖。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
