在生成式AI重塑世界的進(jìn)程中,數(shù)據(jù)存儲(chǔ)的一場(chǎng)深層次變革已全面啟動(dòng)。
當(dāng)AI大模型參數(shù)超越萬(wàn)億級(jí),AI推理全面走向工業(yè)化,Manus、Dify等Agent全面爆發(fā)之際,高質(zhì)量的數(shù)據(jù)集、全新的接口協(xié)議和高效快速的數(shù)據(jù)綜合處理帶來(lái)一系列全新存儲(chǔ)挑戰(zhàn)。此刻,算力對(duì)于AI應(yīng)用與發(fā)展依然重要,但沒有與之匹配的存力進(jìn)行高效協(xié)同,再?gòu)?qiáng)大的算力也無(wú)用武之地。
因此,統(tǒng)一的AI數(shù)據(jù)平臺(tái)迅速崛起,成為存力發(fā)展的重要趨勢(shì)和數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)的焦點(diǎn)。AI數(shù)據(jù)平臺(tái)將塊存儲(chǔ)、文件、對(duì)象、表格、向量乃至事件流整合到統(tǒng)一的存儲(chǔ)之中,既兼容傳統(tǒng)的通用應(yīng)用場(chǎng)景,又高效支撐起新型AI應(yīng)用場(chǎng)景,更徹底消除數(shù)據(jù)孤島,讓數(shù)據(jù)價(jià)值得以全面釋放。
毫無(wú)疑問(wèn),與算力一樣,存力也即國(guó)力。在中國(guó)市場(chǎng)全面受制于先進(jìn)AI芯片的不爭(zhēng)事實(shí)面前,AI數(shù)據(jù)平臺(tái)極具市場(chǎng)價(jià)值,它不僅為存算協(xié)同、以存代算帶來(lái)更優(yōu)解,也有望成為中國(guó)數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)在AI時(shí)代走向輝煌的起點(diǎn)。
AI 數(shù)據(jù)平臺(tái)崛起
AI大模型的爆發(fā),讓VAST DATA這家公司頻繁進(jìn)入大眾的視野。作為一家成立僅九年的公司,VAST DATA如今估值達(dá)到300億美元,超過(guò)絕大多數(shù)傳統(tǒng)存儲(chǔ)公司。
VAST DATA之所以能在產(chǎn)業(yè)格局早已固化的數(shù)據(jù)存儲(chǔ)領(lǐng)域脫穎而出,關(guān)鍵在于其面向AI時(shí)代構(gòu)建數(shù)據(jù)平臺(tái)的理念引發(fā)關(guān)注。眾所周知,隨著AI大模型的快速迭代與進(jìn)化,數(shù)據(jù)存儲(chǔ)的核心需求發(fā)生根本性變化,存儲(chǔ)基座全面走向重構(gòu),AI 數(shù)據(jù)平臺(tái)的價(jià)值全面顯現(xiàn)。
其一、從 CPU 轉(zhuǎn)向 GPU的計(jì)算范式變化,推動(dòng)GPU+NVMe 全閃+RDMA 網(wǎng)絡(luò)成為新的技術(shù)堆棧標(biāo)準(zhǔn)。而GPU集群規(guī)模的持續(xù)增加,也導(dǎo)致吞吐量、并行復(fù)雜性和延遲敏感度大幅提升,AI訓(xùn)練、推理等工作負(fù)載追求高并發(fā)、低延遲、高吞吐的極致性能。
例如,隨著大模型參數(shù)規(guī)模的不斷增加,模型訓(xùn)練多節(jié)點(diǎn)梯度同步GB/s級(jí)的并發(fā),導(dǎo)致整個(gè)AI集群的并發(fā)復(fù)雜性持續(xù)提升;同時(shí),AI推理對(duì)于延遲極為敏感,推理更是延遲>1ms即觸發(fā)降級(jí),這些都對(duì)數(shù)據(jù)存儲(chǔ)的極致性能提出極大挑戰(zhàn),也讓傳統(tǒng)存儲(chǔ)舉步維艱。
其二、AI進(jìn)入到全新發(fā)展階段,多模態(tài)成為AI大模型重要趨勢(shì),加上Agent應(yīng)用的大量涌現(xiàn),不僅釋放出大量的推理需求,更直接推動(dòng)Agent生態(tài)初步形成,這直接誕生出多模態(tài)數(shù)據(jù)統(tǒng)一管理、中間結(jié)果緩存復(fù)用、長(zhǎng)效記憶能力構(gòu)建等全新的存儲(chǔ)需求。
以推理為例,國(guó)內(nèi)先進(jìn)算力稀缺的現(xiàn)實(shí)狀況不容忽視。因此,存儲(chǔ)層面的以存帶算意義重大。存儲(chǔ)需要肩負(fù)起記憶持久化,基于KV Cache來(lái)避免AI推理算力的重復(fù)運(yùn)算,推動(dòng)存算協(xié)同的高效運(yùn)行。
其三、除興起的AI應(yīng)用場(chǎng)景之外,企業(yè)依然有著像數(shù)據(jù)庫(kù)、虛擬化、通用文件等大量傳統(tǒng)應(yīng)用場(chǎng)景,二者之間在IOPS、延遲、接口等存儲(chǔ)需求迥異,存儲(chǔ)基座需要減少數(shù)據(jù)存儲(chǔ)層的復(fù)雜性,兼容過(guò)去和支持未來(lái),并進(jìn)一步強(qiáng)化數(shù)據(jù)安全和徹底消除數(shù)據(jù)孤島。
顯然,面對(duì)數(shù)據(jù)存儲(chǔ)核心需求的根本性變化,軟硬件架構(gòu)設(shè)計(jì)陳舊的傳統(tǒng)存儲(chǔ)已無(wú)所適從,AI數(shù)據(jù)平臺(tái)則加速接過(guò)傳統(tǒng)存儲(chǔ)的接力棒,成為眾多企業(yè)在AI時(shí)代構(gòu)建存儲(chǔ)基座的首先。
“存儲(chǔ)的角色不再是傳統(tǒng)的數(shù)據(jù)持久化,而是支撐萬(wàn)億參數(shù)大模型高效訓(xùn)推和 Agent行動(dòng)閉環(huán)的智能樞紐?!比A瑞指數(shù)云CTO 曹羽中指出。
與VAST DATA類似,華瑞指數(shù)云(ExponTech)也是一家致力于AI數(shù)據(jù)平臺(tái)創(chuàng)新的存儲(chǔ)公司。事實(shí)上,在傳統(tǒng)存儲(chǔ)軟硬件架構(gòu)缺陷持續(xù)放大的背景下,AI數(shù)據(jù)平臺(tái)已然成為中國(guó)發(fā)展先進(jìn)存力最重要的創(chuàng)新方向之一。
那么,以華瑞指數(shù)云為代表的中國(guó)存儲(chǔ)公司能否為AI時(shí)代的存儲(chǔ)基座帶來(lái)更優(yōu)解?
中國(guó)或有更優(yōu)解
舊的范式走向終結(jié),新的力量也即破土而出。
相比于傳統(tǒng)存儲(chǔ),AI數(shù)據(jù)平臺(tái)就像一個(gè)重新設(shè)計(jì)的六邊形戰(zhàn)士,真正在產(chǎn)品層面掀起變革浪潮,滿足用戶“既要、又要、也要和還要”的全面需求。
以華瑞指數(shù)云的AI原生智能數(shù)據(jù)平臺(tái)--WADP為例,其為Agent時(shí)代和多模態(tài)AI設(shè)計(jì)了多協(xié)議的融合,是全球唯一能同時(shí)覆蓋企業(yè)關(guān)鍵業(yè)務(wù)與AI工作負(fù)載的分布式存儲(chǔ)軟件,可以幫助企業(yè)構(gòu)建統(tǒng)一、智能、無(wú)限擴(kuò)展的存儲(chǔ)基座,以一套存儲(chǔ)平臺(tái)滿足全場(chǎng)景數(shù)據(jù)存儲(chǔ)需求。
具體來(lái)看,WADP首先是一款A(yù)I Native Universal Storage,采用模塊化可組合式架構(gòu)設(shè)計(jì)理念,在WiDE分布式數(shù)據(jù)引擎和天樞元數(shù)據(jù)引擎基礎(chǔ)上,開發(fā)出WDS、WFS、WOS和WQS等一系列組合產(chǎn)品。這種架構(gòu)設(shè)計(jì)的好處就是WADP產(chǎn)品組合中任何一款產(chǎn)品均能夠單獨(dú)為企業(yè)所使用,又能夠通過(guò)組合式架構(gòu)以一套存儲(chǔ)平臺(tái)滿足全場(chǎng)景需求。
眾所周知,傳統(tǒng)存儲(chǔ)最大詬病就是不同場(chǎng)景的部署與使用往往需要不同的存儲(chǔ)方案,數(shù)據(jù)、協(xié)議、系統(tǒng)之間不互通和協(xié)同性差,導(dǎo)致基礎(chǔ)設(shè)施擴(kuò)展性差、數(shù)據(jù)孤島林立和數(shù)據(jù)價(jià)值無(wú)法高效釋放。而WADP則采用多協(xié)議融合的設(shè)計(jì)理念,同一份數(shù)據(jù)基于豐富的協(xié)議接口,無(wú)需來(lái)回移動(dòng)拷貝數(shù)據(jù),實(shí)現(xiàn)無(wú)縫互通。
其次,性能與效率仍然是當(dāng)下AI基礎(chǔ)設(shè)施的核心挑戰(zhàn)。WADP這位“六邊形戰(zhàn)士”在性能和效率上同樣不打折扣,關(guān)鍵業(yè)務(wù)與AI工作負(fù)載等場(chǎng)景下均表現(xiàn)出色,實(shí)現(xiàn)“全面”和“專精”二者兼得。
以面向企業(yè)關(guān)鍵業(yè)務(wù)場(chǎng)景為例,WADP在全球存儲(chǔ)性能委員會(huì)SPC-1 評(píng)測(cè)以SDS+普通服務(wù)器的方式勇奪全球第一,一舉打破高端存儲(chǔ)多年的壟斷,在性能、延遲和性價(jià)比上全面領(lǐng)先,徹底顛覆SDS性能羸弱的刻板形象。曹羽中透露,其WADP在現(xiàn)實(shí)中已經(jīng)完成多個(gè)高端存儲(chǔ)遷移項(xiàng)目,幫助企業(yè)承接OLTP等核心業(yè)務(wù)工作負(fù)載。
又如,在面向AI的訓(xùn)練與推理場(chǎng)景中,WADP在今年的MLPerf Storage v2.0測(cè)試結(jié)果表現(xiàn)優(yōu)異,Resnet50模型訓(xùn)練測(cè)試中單客戶端支持的GPU卡數(shù)和帶寬排世界第一;Llama3模型測(cè)試僅使用其他評(píng)測(cè)方案1/5的SSD,在Checkpoint寫入帶寬排世界第三,硬件利用效率極為高效。
“MLperf測(cè)試現(xiàn)階段更加鼓勵(lì)存儲(chǔ)廠商用各種創(chuàng)新方案去驗(yàn)證如何滿足AI場(chǎng)景的需求。華瑞指數(shù)云WADP展示了軟件方案搭配極簡(jiǎn)硬件(DPU+JBOF盤框)同樣能做到超級(jí)IO處理效率、超高的容量密度和性能密度,且總體擁有成本遠(yuǎn)低于其他方案?!辈苡鹬薪榻B道。
第三,與大部分傳統(tǒng)存儲(chǔ)不同,WADP設(shè)計(jì)之初就是為AI-Ready而準(zhǔn)備,滿足訓(xùn)練推理、KVCache、RAG場(chǎng)景優(yōu)化、Agent等AI場(chǎng)景的全棧存儲(chǔ)需求;同時(shí),WADP研發(fā)也著眼于未來(lái)在數(shù)據(jù)類型、接口協(xié)議等未來(lái)的演進(jìn),推動(dòng)AI算力與存力的無(wú)縫協(xié)同,讓企業(yè)數(shù)據(jù)通過(guò)存儲(chǔ)基座源源不斷為AI提供“燃料”。
以KVCache為例,對(duì)于國(guó)內(nèi)眾多用戶而言,AI芯片、HBM等在AI場(chǎng)景中至關(guān)重要,但價(jià)格昂貴且受限;隨著DeepSeek等開源大模型的大幅進(jìn)步,推理時(shí)代的全面到來(lái),如何在有限的硬件條件下提升推理速度、降低推理成本就成為當(dāng)前所有用戶都需要面對(duì)的一道難題。
對(duì)此,WADP的WQS SSD KVCache Pool功能以原生KV接口實(shí)現(xiàn)與HBM或者RAM對(duì)接,支持遠(yuǎn)端和本地SSD形成KVCache Pool,為HBM提供無(wú)限擴(kuò)展的全局共享外部存儲(chǔ)空間,實(shí)現(xiàn)超高吞吐、極低時(shí)延的推理體驗(yàn),同時(shí)廣泛兼容國(guó)內(nèi)外主流推理框架,真正實(shí)現(xiàn)以存代算,大幅度降低推理場(chǎng)景的算力成本。
曹羽中強(qiáng)調(diào):“現(xiàn)在存儲(chǔ)業(yè)界都在卷IOPS、時(shí)延、帶寬等性能指標(biāo),這是一個(gè)誤區(qū)。性能固然是AI應(yīng)用以及企業(yè)核心應(yīng)用的剛性需求,不過(guò)達(dá)到一定指標(biāo)之后,存儲(chǔ)的核心價(jià)值一是更多在于對(duì)于通用和AI場(chǎng)景的高效支持;二則是擺脫傳統(tǒng)存儲(chǔ)協(xié)議和IO架構(gòu)的束縛,面向AI場(chǎng)景設(shè)計(jì)新的接口方式和新的IO路徑,更高效的與算力以及Agent協(xié)同,這兩點(diǎn)也是WADP一直在堅(jiān)持的方向?!?/p>
產(chǎn)業(yè)拐點(diǎn),讓未來(lái)更有數(shù)
不可否認(rèn),隨著VAST DATA、Hammerspace、WEKA等一批美國(guó)存儲(chǔ)初創(chuàng)公司全面崛起,全球數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)正因?yàn)锳I而進(jìn)入到一個(gè)重要拐點(diǎn)。
對(duì)于中國(guó)數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)而言,在經(jīng)歷了傳統(tǒng)存儲(chǔ)陣列時(shí)代的艱難追趕之后,隨著AI數(shù)據(jù)平臺(tái)崛起,真正迎來(lái)全新的產(chǎn)業(yè)契機(jī)。這一次,中國(guó)存儲(chǔ)公司與海外存儲(chǔ)先鋒站在同一起跑線,有望在未來(lái)廣闊的市場(chǎng)舞臺(tái)上全面施展。
其一,中國(guó)市場(chǎng)已具備良好的AI數(shù)據(jù)平臺(tái)土壤。IDC數(shù)據(jù)顯示,2024年國(guó)內(nèi)市場(chǎng)的傳統(tǒng)陣列占比開始下降到50%以下,分布式存儲(chǔ)、SDS等被越來(lái)越多用戶所接受和使用。在傳統(tǒng)存儲(chǔ)陣列市場(chǎng)逐步下滑和式微之際,華瑞指數(shù)云等多家國(guó)內(nèi)存儲(chǔ)公司持續(xù)的深耕,讓基于分布式存儲(chǔ)軟件的AI數(shù)據(jù)平臺(tái)成為中國(guó)存儲(chǔ)產(chǎn)業(yè)最重要的賽道之一。
其二,AI數(shù)據(jù)平臺(tái)尚處于發(fā)展的早期,路徑依賴和依托國(guó)外開源的“拿來(lái)主義”絕非長(zhǎng)遠(yuǎn)之計(jì)。華瑞指數(shù)云用WADP證明,全自研固然艱難,但絕非遙不可及。此外,AI數(shù)據(jù)平臺(tái)在AI DATA、接口協(xié)議等方面依然有著極大探索與創(chuàng)新空間,堅(jiān)持自研必然會(huì)獲得市場(chǎng)、用戶更加廣泛的認(rèn)可。
綜合觀察,一直以來(lái),數(shù)據(jù)存儲(chǔ)都以技術(shù)難、研發(fā)投入大、市場(chǎng)門檻高著稱。當(dāng)算力在AI時(shí)代狂飆時(shí),AI數(shù)據(jù)平臺(tái)崛起,存力作為基座與支柱的價(jià)值愈發(fā)被認(rèn)同,數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)也開始走向蛻變。面向未來(lái),隨著華瑞指數(shù)云這樣的探路者陸續(xù)涌現(xiàn),中國(guó)存儲(chǔ)產(chǎn)業(yè)走向輝煌指日可待。
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- AI數(shù)據(jù)平臺(tái),中國(guó)或有更優(yōu)解
- 三十載熱愛同行, vivo Vision發(fā)布會(huì)暨影像盛典盛大舉辦
- MLPerf揭榜:拆解“黃金標(biāo)準(zhǔn)”背后的AI存儲(chǔ)新姿勢(shì)
- 再次升級(jí)!你的瀏覽器正式進(jìn)入超域時(shí)代
- 快手財(cái)報(bào)背后的AI革命:數(shù)字內(nèi)容生態(tài)迎來(lái)新范式
- “羽絨服一哥”波司登:價(jià)格飆升背后的價(jià)值空心化困局
- 耐用品質(zhì)實(shí)戰(zhàn)之王,REDMI Note 15 Pro+震撼發(fā)布,首銷 1899元起
- 耐用品質(zhì)實(shí)戰(zhàn)之王,REDMI Note 15 Pro+震撼發(fā)布,首銷 1899元起
- 京東服飾美妝攜開封干娘舉辦七夕交友專場(chǎng) 助單身青年尋覓良緣
- 三十載熱愛同行, vivo Vision發(fā)布會(huì)暨影像盛典盛大舉辦
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。