存力即數(shù)據(jù)存儲能力
蘊藏著巨大的發(fā)展機會
【全球存儲觀察 | 熱點關注】
2023年,全球被ChatGPT的熱潮席卷,擁抱AIGC的創(chuàng)新賽道成為眾多企業(yè)的新選擇。
全球存儲觀察分析指出,影響AIGC發(fā)展的三大因素也日益凸顯,即算力、存力與運力,算力即計算能力;存力即數(shù)據(jù)存儲能力;運力即網絡運載能力。而其中令業(yè)界越來越重視的存力,蘊藏著巨大的發(fā)展機會。
事實上,隨著AI行業(yè)應用落地不斷加速,也加快了新數(shù)據(jù)的暴漲。來自全球專業(yè)分析機構IDC統(tǒng)計分析指出,到2027年,全球數(shù)據(jù)圈將達到291ZB。更大規(guī)模的數(shù)據(jù)存儲潛力值得挖掘,這也預示著在數(shù)字經濟的下一步發(fā)展中,重視數(shù)據(jù)存力的行業(yè)企業(yè)才更有可能在新賽道中勝出。
擁抱AIGC,實現(xiàn)更好的數(shù)據(jù)存力,作為全球領先的數(shù)據(jù)存儲解決方案提供商,希捷科技為我們指明了未來發(fā)展的方向。
對于這樣一家專業(yè)而發(fā)展歷史悠久的存儲廠商,帶給業(yè)界的觀察與建議,還是十分值得關注的。畢竟在數(shù)據(jù)存儲行業(yè)中,希捷科技有著40多年的發(fā)展歷史,全球存儲交付量超4ZB,數(shù)據(jù)早已成其為發(fā)展的DNA。
大容量與高性能,
對AIGC存力重要性不分伯仲
2023年9月13日,在2023開放數(shù)據(jù)中心(ODCC)大會間隙,希捷科技中國區(qū)產品線管理總監(jiān)劉嘉接受媒體采訪時強調指出,大容量與高性能已經逐漸成為AIGC存力需求的兩大發(fā)展趨勢。
希捷科技中國區(qū)產品線管理總監(jiān) 劉嘉
那么,希捷科技到底如何看待AIGC下的數(shù)據(jù)存儲的大容量與高性能發(fā)展趨勢呢?
一方面,大容量存儲需求將會迅速增長。大容量存儲源自數(shù)據(jù)海量產生,在AI場景下產生的數(shù)據(jù)相比以前正在發(fā)生很大的改變。回顧一下AI發(fā)展歷程,我們不難發(fā)現(xiàn),無論是機器學習,還是深度學習,或者是強化學習,以及當前火熱的AIGC(生成式AI),驅動這些AI技術出現(xiàn)前所未有發(fā)展的原動力離不開數(shù)據(jù)。為此,在AI技術實現(xiàn)突破之時,往往離不開數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)分析等一系列的數(shù)據(jù)驅動,這也是AI的發(fā)展基礎。
在ChatGPT被業(yè)界熱議之時,大家的目光聚焦在了數(shù)萬顆GPU芯片上,固然ChatGPT能成為當今火遍全球的頂流大模型,自然少不了其背后的超強AI算力,然而,在大規(guī)模數(shù)據(jù)進行訓練的過程中,更少不了與之匹配的分布式超強存儲。業(yè)界盛傳,ChatGPT算法模型包括了1750億參數(shù),其預訓練的數(shù)據(jù)量達45TB,未來模型參數(shù)和數(shù)據(jù)量也將隨著ChatGPT迭代不斷倍增。模型訓練質量越高,對數(shù)據(jù)集要求越大,需要的文件數(shù)量就越大,滿足億級文件數(shù)量的存儲需求是常態(tài)。
當前AI產生的數(shù)據(jù)更多集中在文本、語音、圖像等方面,隨著大模型的技術升級,未來在視頻方面也會產生大量的AI數(shù)據(jù)。隨著數(shù)據(jù)訓練的強化與推進,以及大模型走向行業(yè)普及化,大模型用戶的數(shù)據(jù)和語言數(shù)據(jù)積累的規(guī)模也將越來越大,這對存儲容量需求也將越來越大。為此,AI的技術創(chuàng)新,必然會持續(xù)推動大規(guī)模硬盤需求的增長??梢灶A見,未來AIGC存力的需求不亞于當前對于GPU的AI算力需求。
另一方面,高性能存儲也是剛需。當業(yè)界都聚焦在AIGC發(fā)展之路上,自然對于大模型訓練效果也有著更快更好的要求,高性能存儲可以支持高性能計算平臺的訓練負載,作為數(shù)據(jù)存儲基石,硬盤部件也同樣需要實現(xiàn)更高性能。這是關系AIGC應用的一整個數(shù)據(jù)鏈條的高效整合。
在實際AIGC應用中,往往對存儲性能要求更高。比如自動地生成圖片、視頻,修改圖片、視頻,其過程需要高性能存儲來支持,實現(xiàn)用戶更高效的AIGC應用體驗。只要是嘗試過ChatGPT、GPT4的業(yè)界朋友,都知道它能順暢秒級完成文本問答,對其處理數(shù)據(jù)的速度還是滿意的,其背后自然也需要大容量的存儲來支撐其數(shù)億參數(shù)和中間結果。
很顯然,存力業(yè)已成為了AIGC發(fā)展的基石。通過大規(guī)模數(shù)據(jù)進行訓練就必須有大容量存儲來支撐,而要獲得更高效的訓練結果和更佳的應用體驗,就必須要有高性能存儲來實現(xiàn)。大容量與高性能,對AIGC存力的重要性不分伯仲。
方向找對了,
更需突破性存儲技術去實現(xiàn)
實現(xiàn)AIGC更好的數(shù)據(jù)存力,找對了方向確實非常重要,更重要的是需要突破性存儲技術去應對挑戰(zhàn),才能實現(xiàn)更好的數(shù)據(jù)存儲理想,實現(xiàn)我們需要的數(shù)據(jù)價值。
不過,影響硬盤容量的兩個關鍵變量在于:要不選擇增加更多的碟片,或者選擇提高磁記錄的密度。只是采取在增加更多的碟片的技術道路上尋求發(fā)展,同時會增加原材料、零部件、工具和人工等BOM標準成本,碟片更多也會順帶增加功耗。
對于熱輔助磁記錄( HAMR )技術并不陌生的業(yè)內人士或許都清楚,提升磁密度對于存儲硬盤容量升級意義重大。為此,希捷科技一直以來尋求在HAMR技術上實現(xiàn)不斷的突破。這不僅對于提升容量更加有效,而且使得硬盤設計更好優(yōu)化。
HAMR就是在磁盤上采用一種新型的介質磁技術,在保持磁穩(wěn)定和熱穩(wěn)定情況下,讓數(shù)據(jù)位變得比過去更小且密度更高。為了寫入新數(shù)據(jù),連接到每個記錄磁頭的小型激光二極管會瞬間加熱磁盤上的一個小點,從而使記錄磁頭每次翻轉單個位的磁極性,進而達到寫入數(shù)據(jù)的目的。據(jù)希捷科技的官方資料顯示,每個位會在一納秒內完成加熱并冷卻,因此HAMR激光器對硬盤溫度或整個介質的溫度、穩(wěn)定性或可靠性完全沒有影響。
目前, 30+TB容量的HAMR硬盤在2023年已經開始出貨,并且正在計劃2026年實現(xiàn)50TB的HAMR硬盤亮相。
從希捷科技大容量硬盤的路線圖可以不難看出,HAMR技術帶來發(fā)展后勁還是很足,提升磁密度對于推動硬盤產品的發(fā)展和增長,其意義十分重大。對于用戶來說,磁記錄密度的提升對于存儲TCO和可持續(xù)性的影響也必然深遠,其中的技術關鍵在于增加硬盤容量的同時,而碟片數(shù)不需要增加。
在這之前,全球存儲觀察阿明也曾撰文分析指出,從2001年開始,希捷就開始了在HAMR技術上的研究。最終發(fā)現(xiàn):HAMR技術可以讓存儲密度提升到5Tbit/in2甚至更高的水平,HDD硬盤容量會有5到10倍的增長空間,未來制造出100TB硬盤成為可能。
先進存儲技術聯(lián)盟 (ASTC) 分析指出,以增加磁密度的HAMR技術,將成為下一個重要的存儲技術創(chuàng)新。其言外之意,下一個十年HDD大容量硬盤的市場增長或許得靠它了。
在大容量存儲技術突破上有HAMR技術作為后盾,在存儲高性能方面,希捷科技也有著MACH.2的優(yōu)異表現(xiàn)。全球存儲觀察分析認為,為AIGC數(shù)據(jù)密集型應用提供兩倍硬盤性能,這一點就值得關注??梢栽诓粻奚萘康那闆r下維持服務水平,也難怪MACH.2一經推出就走紅業(yè)界了。
希捷科技在MACH.2技術上帶來的突破性創(chuàng)新,屬于全球首款多傳動器硬盤技術,打破了業(yè)界硬盤吞吐記錄。MACH.2通過實現(xiàn)數(shù)據(jù)流并行進出單個硬盤,解決了性能提升需求。通過使數(shù)據(jù)中心主機能夠同時并行請求和接收來自硬盤兩個區(qū)域的數(shù)據(jù),MACH.2 將每個獨立硬盤的IOPS性能提高了一倍,抵消了通常會因為容量提高而引起的數(shù)據(jù)可用性下降的問題。
全球存儲觀察分析認為,長期以來,希捷科技一直是引領全球硬盤技術未來的領導者之一,在應對AIGC全新存力的挑戰(zhàn)下,不僅專注于磁密度技術創(chuàng)新,以支持不斷增長的大容量數(shù)據(jù)存儲需求。而且在存儲性能創(chuàng)新的突破性先進技術方面,通過MACH.2多磁臂技術不斷改善IOPS性能表現(xiàn),降低延遲,并通過氦氣和其他更多技術創(chuàng)新舉措來滿足AIGC應用的TCO要求。
談到這里,或許有朋友會說,HDD大容量硬盤的性能再好,怎么可以和SSD的IOPS性能比擬呢,AIGC應用落地選擇SSD不是更好么?單分析IOPS性能,HDD大容量硬盤確實沒法和SSD比,但是在考慮價格與數(shù)據(jù)留存時間的綜合因素時,情況就不一樣了。
據(jù)劉嘉介紹,磁介質與閃存就兩種介質每TB的價格對比來看,依然還在1:6到1:10的區(qū)間波動,即使SSD容量也在增加,但HDD突破性技術不斷將硬盤成本往下拉。如果用戶要考慮成本的問題,那么選擇HDD大容量硬盤必然會不斷增加。
對于AIGC應用過程中的數(shù)據(jù)留存時間,應該是眾多走上該賽道上的企業(yè)必須要重視的事情。在考慮數(shù)據(jù)存儲可靠性的同時,選擇數(shù)據(jù)留存時間更長的HDD大容量硬盤也是常理了。況且在數(shù)據(jù)備份與恢復方面,基于HDD大容量硬盤的存儲系統(tǒng)更為成熟。
當然,對于大模型訓練的實時熱數(shù)據(jù)采用SSD來存儲,可以獲得更高IOPS性能和低時延支持,但要考慮到數(shù)據(jù)留存時間與安全性,對于大量的近實時和歸檔的溫冷數(shù)據(jù)采用HDD大容量硬盤來存儲,可以獲得更好數(shù)據(jù)留存時間與安全性,以及TCO表現(xiàn)。
可見,HDD與SSD對于AIGC發(fā)展也是相輔相成的,在企業(yè)級SSD方面,希捷科技也擁有業(yè)界強大的企業(yè)級產品陣營希捷雷霆(Nytro)系列,適合SDS、高性能計算、高密度數(shù)據(jù)中心,以及當前AIGC應用場景。
除此之外,應對當今的存儲挑戰(zhàn),希捷科技之前還推出了Exos CORVAULT智能存儲系統(tǒng)。被業(yè)界譽為裸容量超過2PB的智能“超級硬盤”,以更低的成本,存儲更多的數(shù)據(jù)。在Exos CORVAULT系統(tǒng)中還采用了希捷科技創(chuàng)新的ADAPT糾刪碼和自我修復ADR存儲技術,不僅提高了數(shù)據(jù)中心系統(tǒng)的耐用性,也對其可持續(xù)性帶來了極大的幫助。
面對AIGC應用帶來海量數(shù)據(jù)存儲挑戰(zhàn),既需要大容量與高性能的磁盤,也需要與這些磁盤協(xié)同設計的智能存儲系統(tǒng)。為此,從芯片到硬盤部件到存儲系統(tǒng),希捷科技通過軟件與硬件的持續(xù)創(chuàng)新技術,為滿足用戶的數(shù)據(jù)存儲需求不斷推陳出新。
踏上AIGC未來之路,
還需持續(xù)踐行綠色存儲理念
隨著踏上AIGC未來之路的企業(yè)越來越多,持續(xù)踐行綠色存儲的理念需要倍加重視。
隨著數(shù)據(jù)圈的擴大,數(shù)據(jù)量的爆發(fā)式增長,大家對于硬盤等存儲介質的生產和消耗十分驚人。
為此,希捷科技早已宣布了自身的“碳中和”計劃:到2030年,在全球范圍內使用100%可再生能源,2040年實現(xiàn)碳中和。一方面,在工廠生產、技術研發(fā)領域,希捷科技以100%使用可再生能源作為戰(zhàn)略目標。
另一方面,在突破性技術創(chuàng)新領域,希捷科技憑借雙磁臂技術、HAMR技術、氦氣硬盤等,賦能數(shù)據(jù)中心的綠色、可持續(xù)發(fā)展。同時,也為業(yè)界帶來了自動修復、硬盤重生與硬盤回收的綠色技術。ADR(自動容量重生)技術可以主動發(fā)現(xiàn)硬盤磁頭故障并進行自動化修復,減少電子垃圾。希捷已經攜手國內外眾多生態(tài)伙伴,通過對產品整體以及相關部件的回收和循環(huán)利用,創(chuàng)建可持續(xù)發(fā)展的存儲產業(yè)。2022財年希捷科技通過翻新計劃延長了一百多萬塊機械硬盤和固態(tài)硬盤的使用壽命。將這些硬盤通過翻新和重新部署實現(xiàn)回收,避免了540多公噸的電子垃圾進入填埋場。
由此可見,在AIGC的創(chuàng)新賽道上,數(shù)據(jù)存力不僅要強大,具備更優(yōu)的TCO表現(xiàn),而且還需要持續(xù)踐行綠色存儲理念。在希捷科技等科技巨頭的帶動下,我們有理由相信,一個面向AIGC全新的綠色存儲生態(tài)圈正在形成,并進一步得以完善中。在存力永續(xù)發(fā)展的基礎上,讓AI為百行百業(yè)創(chuàng)造出更多的價值。(by Aming)
- END-
你
怎
么
看
?
歡迎文末評論補充!
【全球存儲觀察 |全球云觀察 |阿明觀察 |科技明說】專注科技公司分析,用數(shù)據(jù)說話,帶你看懂科技。本文和作者回復僅代表個人觀點,不構成任何投資建議。
聯(lián)系客服