
機械硬盤與AI并進,大容量存儲的未來

生成式AI席卷而來,不同于最直觀的算力,存儲能做點什么?
“容量”, 是希捷中國區(qū)產(chǎn)品部總監(jiān)劉嘉從過去兩年生成式AI發(fā)展中觀察到客戶對存儲的首要需求。
“盡管AI還未完全成熟,但其推動力已經(jīng)開始顯現(xiàn),存儲需求回升明顯。”劉嘉說。24T、30T的容量增長已成為共識,接下來則是對性能的更高要求。
固態(tài)硬盤性能更高,機械硬盤高容量和低成本,也成為新一輪AI浪潮的一種選擇。2024財年希捷發(fā)貨量顯著增長,特別是企業(yè)級需求占比達到80%左右,推動了單盤容量的提升,尤其是20TB以上的大容量硬盤需求,實現(xiàn)性能與成本的平衡已經(jīng)成為企業(yè)下一階段重點考慮的方向。
希捷中國區(qū)產(chǎn)品部總監(jiān)劉嘉
生成式AI下的存儲選擇
生成式AI席卷而來,不同于最直觀的算力,存儲能做點什么?希捷從中看到了三個影響存儲的趨勢。
第一,數(shù)據(jù)生產(chǎn)加速:IDC報告數(shù)據(jù)顯示,2023年中國大數(shù)據(jù)市場規(guī)模達179.3億元人民幣,相比2022年增長24.6%。希捷認(rèn)為到2028年數(shù)據(jù)生產(chǎn)都會處在加速的狀態(tài),一個原因是生產(chǎn)數(shù)據(jù)的內(nèi)容越來越豐富,文字、視頻、文生內(nèi)容,另一個原因是更多的數(shù)據(jù)需要留存,預(yù)計到2028年,生成式AI將產(chǎn)生約100ZB的數(shù)據(jù)。
第二,AI對存儲的影響:數(shù)據(jù)生產(chǎn)與數(shù)據(jù)存儲是兩個過程,相比之前數(shù)據(jù)生成速度提升,存儲需求存在一定的滯后性。過去一年多企業(yè)的AI投資主要集中在算力、模型層面,接下來,隨著數(shù)據(jù)的增長,存儲需求也將顯著提升。
第三,存儲介質(zhì)的選擇:隨著AI帶動GPU和內(nèi)存價格上漲,固態(tài)硬盤和機械硬盤的單TB價格比正在增大。過去一年中,固態(tài)硬盤價格增速快于機械硬盤。除了AI訓(xùn)練需要的固態(tài)硬盤,很多客戶還會選擇在性價比和總擁有成本(TCO)上更具優(yōu)勢的機械硬盤。
隨著生成式AI的快速崛起,存儲的角色變得愈發(fā)關(guān)鍵。希捷希望把握數(shù)據(jù)生產(chǎn)加速、AI對存儲需求的滯后性、存儲介質(zhì)選擇三大趨勢,提供相應(yīng)的解決方案。
在大模型的訓(xùn)練過程中,存儲會參與到多個環(huán)節(jié)中。劉嘉認(rèn)為,機械硬盤也可以在這些環(huán)節(jié)提供相應(yīng)的支撐。
模型文件:在訓(xùn)練開始時,模型文件會直接存儲在GPU集群中,文件大小從幾百MB到幾個TB不等。
checkpoint(檢查點):訓(xùn)練過程中會產(chǎn)生臨時保存的數(shù)據(jù)(checkpoint),最初很多企業(yè)使用性能較高的固態(tài)硬盤存儲這些數(shù)據(jù),同時成本也較高,F(xiàn)在企業(yè)發(fā)現(xiàn)可以將不常讀取的checkpoint數(shù)據(jù)轉(zhuǎn)移到機械硬盤降低成本。
模型版本:當(dāng)模型訓(xùn)練多個版本時,會有不同版本的模型數(shù)據(jù)保存,由于存儲對性能要求較低,部分企業(yè)選擇使用機械硬盤。
生成數(shù)據(jù):通過文生圖片、視頻等生成的數(shù)據(jù)大概率會存儲在機械硬盤上,特別是在模型穩(wěn)定后,生成數(shù)據(jù)更加豐富且留存時間更長,進一步優(yōu)化存儲成本可以使用機械硬盤。
存儲進入大容量時代
希捷一直是機械硬盤巨頭,從2024年財報顯示,希捷實現(xiàn) 65.51 億美元營收,其中毛利率為23.4%,較上一年度的18.3%有了明顯的提升,回歸盈利通道。
機械硬盤還會是希捷未來的主陣地,劉嘉認(rèn)為,企業(yè)90%的數(shù)據(jù)存儲在企業(yè)級硬盤和云端,服務(wù)好這部分市場非常關(guān)鍵。
同時,希捷的另一個重點是持續(xù)提升容量、降低功耗,提高每TB的性能,以滿足生成式AI的需求。希捷還在積極評估與AI相關(guān)的新機會,旨以適應(yīng)日益增長的AI應(yīng)用和負(fù)載需求。
通過對市場需求的觀察,希捷將客戶分為三類:
優(yōu)化工作負(fù)載的客戶:這類客戶看中機械硬盤的大容量和低成本優(yōu)勢。雖然機械硬盤在隨機讀寫性能上和固態(tài)硬盤比相差10-20萬,但順序讀寫上每秒能達到250M。基于這些特性在業(yè)務(wù)層將工作負(fù)載順序化,將順序讀寫任務(wù)分配給機械硬盤,隨機讀寫任務(wù)則轉(zhuǎn)移到閃存上,降低了總擁有成本(TCO)。
停留在固定容量的客戶:有些客戶使用的機械硬盤容量停留在12TB左右,因更高容量的硬盤性能不理想,仍然選擇機械硬盤,因為價格較低,且未來隨著磁密度的提升,這類容量也可能有進一步的改進空間。
嘗試雙磁臂硬盤的客戶:采用雙磁臂硬盤技術(shù)在增加容量的同時可以保持單TB的性能不變,適用于對IO要求較高的業(yè)務(wù)場景,如塊存儲、郵件服務(wù)器。雙磁臂硬盤相比單磁臂硬盤價格略高,但性能提升顯著,是一種平衡成本與性能的選擇。
希捷已經(jīng)提供了包括銀河Exos系列大容量機械硬盤、希捷雷霆Nytro系列固態(tài)硬盤,以及Mozaic 3+(魔彩盒3+)平臺等企業(yè)級數(shù)據(jù)存儲解決方案來滿足不同客戶的需求。其中Mozaic 3+(魔彩盒3+)帶來的30TB突破,單盤片容量達到了3TB,未來單碟容量還將達到4TB、5TB。
隨著存儲持續(xù)在AI領(lǐng)域發(fā)揮重要作用,更高的面密度和高容量也將成為決戰(zhàn)AI時代的關(guān)鍵。
本文章選自《數(shù)字化轉(zhuǎn)型方略》雜志,閱讀更多雜志內(nèi)容,請掃描下方二維碼
