作者丨張睿 編輯丨康曉
出品丨深網(wǎng)·騰訊新聞小滿工作室
“算力不能保證我們?cè)谕ㄓ萌斯ぶ悄芗夹g(shù)上領(lǐng)先,算力是可以買來的,創(chuàng)新的能力是買不來的?!卑俣葎?chuàng)始人李彥宏日前在一次內(nèi)部分享中表示。但無可否認(rèn),算力是大模型發(fā)展的關(guān)鍵基礎(chǔ),全球各大科技公司對(duì)算力儲(chǔ)備資源的爭(zhēng)奪正愈演愈烈。
以ChatGPT為代表的大語(yǔ)言模型成為人工智能的新范式,大模型的預(yù)訓(xùn)練和推理所需的算力需求也呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。據(jù)OpenAI分析,2012 年至2018年的6年間,人工智能訓(xùn)練任務(wù)中使用的算力需求便增長(zhǎng)了約30萬(wàn)倍。
“算力是服務(wù)器產(chǎn)品在使用場(chǎng)景里的一種呈現(xiàn),算力就是服務(wù)器?!蹦晨萍脊痉?wù)器事業(yè)部負(fù)責(zé)人對(duì)《深網(wǎng)》解釋,自1989年X86服務(wù)器問世,到后來GPU、異構(gòu)計(jì)算的發(fā)展,運(yùn)算能力正從傳統(tǒng)的以 CPU 為主導(dǎo)轉(zhuǎn)向以GPU為主導(dǎo)。
AI場(chǎng)景需要多核、高并發(fā)、高帶寬芯片,支撐強(qiáng)大算力需求的GPU被廣泛應(yīng)用于加速芯片。從這個(gè)角度看,占了全球GPU市場(chǎng)82%份額的英偉達(dá)(NVIDIA)成為算力需求大爆發(fā)的贏家。
“一臺(tái)通用計(jì)算服務(wù)器的成本大約在5萬(wàn)塊錢左右,現(xiàn)在符合美國(guó)技術(shù)出口規(guī)范的A800一塊價(jià)格已經(jīng)漲到10萬(wàn)塊錢,對(duì)于投入算力基礎(chǔ)設(shè)施的公司來說,整個(gè)采購(gòu)成本都在增加?!鄙鲜隹萍脊痉?wù)器事業(yè)部負(fù)責(zé)人告訴《深網(wǎng)》。
當(dāng)然,光有GPU算力仍不夠,“今天的大模型基本都靠分布式、并行式訓(xùn)練的架構(gòu)來支撐,上面需要一個(gè)大規(guī)模分布式軟件優(yōu)化系統(tǒng)來支撐。”聯(lián)想集團(tuán)高級(jí)副總裁、首席技術(shù)官芮勇對(duì)《深網(wǎng)》表示。為了抓住AI產(chǎn)業(yè)發(fā)展帶來的新機(jī)遇,聯(lián)想在本月舉行的全球誓師大會(huì)上,還喊出了在服務(wù)器市場(chǎng)超越戴爾、惠普的口號(hào)。
算力需求暴增 英偉達(dá)GPU價(jià)格大漲
由于投入大模型的廠商搶購(gòu)英偉達(dá)A800及存量A100租賃資源,A800的交貨周期被拉長(zhǎng)。有渠道商透露,之前拿貨周期大約為一個(gè)月左右,現(xiàn)在基本都得三個(gè)月,甚至更長(zhǎng)。
A100是英偉達(dá)2020年5月推出的新一代GPU。“這是英偉達(dá)8代GPU史上的一次性能飛躍,其AI訓(xùn)練和推理性能相比于前代V100提升了高達(dá)20倍。”英偉達(dá)創(chuàng)始人CEO黃仁勛當(dāng)時(shí)在線上發(fā)布會(huì)中如此形容A100的性能。
A800是英偉達(dá)針對(duì)中國(guó)市場(chǎng)推出的特供版GPU芯片。2022年10月,美國(guó)商務(wù)部祭出高端GPU的出口限令,禁止英偉達(dá)向中國(guó)出售包括A100在內(nèi)的高端GPU。為此,英偉達(dá)減性能,推出特供中國(guó)的A800,其每秒數(shù)據(jù)傳輸速率只有A100的三分之二。
GPU產(chǎn)品如何影響AI大模型訓(xùn)練?OpenAI聯(lián)合創(chuàng)始人、首席科學(xué)家Ilya Sutskever在和黃仁勛的“爐邊談話”中如此闡述:“GPU 出現(xiàn)在我們多倫多實(shí)驗(yàn)室,要感謝Geoffrey Hinton(人工智能教父),他說我們應(yīng)該試試 GPU。最初我們也沒搞懂GPU怎么發(fā)揮作用,但隨著 ImageNet數(shù)據(jù)集的出現(xiàn),卷積神經(jīng)網(wǎng)絡(luò)非常適合GPU的模型。它讓訓(xùn)練變得非???,能做規(guī)模遠(yuǎn)超以前的訓(xùn)練?!?/span>
2016年4月,英偉達(dá)在硅谷發(fā)布深度學(xué)習(xí)超級(jí)計(jì)算機(jī)DGX-1,搭載了8塊P100 GPU。據(jù)公開資料顯示,盡管當(dāng)時(shí)DGX-1已經(jīng)收到了近100家公司的訂單,黃仁勛卻把第一臺(tái)捐給了OpenAI。
2016年8月,黃仁勛把第一臺(tái)DGX-1捐給成立還不到一年的OpenAI,此前捐款一億美元的馬斯克也被邀請(qǐng)見證。
“DGX-1對(duì)我們的對(duì)話和生成式模型研究產(chǎn)生很大的幫助,擴(kuò)大了數(shù)據(jù)量,許多實(shí)驗(yàn)的時(shí)長(zhǎng)縮短數(shù)周?!盜lya Sutskever當(dāng)時(shí)表示。
圖為GPT到GPT-3的預(yù)訓(xùn)練大模型參數(shù)的變化
GPT的學(xué)習(xí)能力取決于參數(shù)的規(guī)模。2018年,GPT-1的預(yù)訓(xùn)練大模型參數(shù)為1.1億,2019年發(fā)布的GPT-2提高至15億,2020年GPT-3的預(yù)訓(xùn)練大模型參數(shù)已經(jīng)提高至1750億。
“基本在600—700億個(gè)參數(shù)以上,大模型就'開竅了’,模型就不用再重新訓(xùn)練,參數(shù)也不用再去調(diào)整了?!避怯赂嬖V《深網(wǎng)》。
AI芯片是大模型實(shí)行預(yù)訓(xùn)練和推理任務(wù)的算力基座,高端GPU的數(shù)量基本決定了一個(gè)廠商能夠練多大的模型,在各大企業(yè)逐鹿大模型時(shí),GPU廠商英偉達(dá)賺的盆滿缽滿。
據(jù)市場(chǎng)調(diào)查機(jī)構(gòu) TrendForce 數(shù)據(jù)顯示,如果以英偉達(dá) A100 顯卡的處理能力計(jì)算,GPT-3.5大模型需要2萬(wàn)塊GPU來處理訓(xùn)練數(shù)據(jù)。目前英偉達(dá) A100 顯卡的售價(jià)在 10000-15000 美元之間,預(yù)估英偉達(dá)可以賺3億美元(約20多億人民幣)。
賣芯片僅是英偉達(dá)收割這波新AI紅利的一部分。為了解決部分企業(yè)“買不起卡”的問題,英偉達(dá)已與多家云服務(wù)供應(yīng)商合作,推出云端人工智能DGX Cloud。企業(yè)可以按月租、通過瀏覽器使用DGX Cloud集群,擴(kuò)展大型多節(jié)點(diǎn)AI訓(xùn)練。DGX Cloud起價(jià)為每個(gè)實(shí)例每月36999美元。
受AI芯片銷量提升的推動(dòng),今年以來偉達(dá)股價(jià)累計(jì)漲幅超過了90%。
云廠商開啟算力儲(chǔ)備競(jìng)賽
業(yè)內(nèi)一種公認(rèn)說法是,做好AI大模型的算力門檻是1萬(wàn)枚英偉達(dá)A100芯片。為了構(gòu)建大規(guī)模AI算力集群,頭部云廠商紛紛采購(gòu)高性能芯片,用于訓(xùn)練和部署尖端的人工智能。
微軟是首個(gè)采購(gòu)英偉達(dá)高端GPU以構(gòu)建算力集群的云廠商。據(jù)英偉達(dá)去年11月公告,微軟Azure上部署了數(shù)萬(wàn)枚A100/H100高性能芯片。
在AI算力儲(chǔ)備方面,谷歌CEO桑達(dá)爾.皮查伊(Sundar Pichai)表示,除了使用自己研發(fā)的芯片為AI模型提供動(dòng)力外,谷歌云也使用英偉達(dá)的芯片處理器。
在國(guó)內(nèi),為發(fā)展大模型,并以云的方式滿足客戶AI算力需求,阿里、百度、騰訊等紛紛開啟了算力儲(chǔ)備賽。
據(jù)一份流傳的“阿里AI專家交流紀(jì)要”顯示:阿里云上至少有上萬(wàn)片的A100,整體能達(dá)到10萬(wàn)片。阿里云今年芯片采購(gòu)量在1萬(wàn)枚左右,其中6000枚是H800;百度年初緊急下單3000臺(tái) 8卡的A800服務(wù)器,共2.4萬(wàn)張卡,預(yù)計(jì)全年百度會(huì)有A800和H800共5萬(wàn)枚的需求。
現(xiàn)在A800價(jià)格已經(jīng)漲到10萬(wàn)元,這意味著僅芯片采購(gòu)這一項(xiàng),頭部云廠商的投入就在十億元以上。
為節(jié)省算力成本,一些互聯(lián)網(wǎng)企業(yè)走上了芯片自研之路。例如谷歌推出的定制化ASIC芯片TPU,百度基于FPGA打造的昆侖芯,阿里平頭哥自研的神經(jīng)網(wǎng)絡(luò)加速芯片含光800等。
有消息稱,除了采購(gòu)英偉達(dá)芯片外,阿里云也會(huì)使用平頭哥的自研芯片,每年采購(gòu)量大約3000枚。
此外,國(guó)內(nèi)的芯片設(shè)計(jì)企業(yè),例如寒武紀(jì)、海光、壁仞、燧原等也瞄準(zhǔn)了AI芯片市場(chǎng),希望從這波大模型訓(xùn)練潮中分一杯羹。
據(jù)稱,阿里云也會(huì)采購(gòu)國(guó)產(chǎn)芯片,例如寒武紀(jì)MLU370,性能是A100的60-70%。今年阿里云對(duì)寒武紀(jì)MLU370的采購(gòu)量大約在2000張,主要用于CV等小模型的訓(xùn)練或推理上。
由于芯片數(shù)量決定算力的規(guī)模,廣義上講,算力的硬技術(shù)就是AI芯片。但AI芯片不能直接作用于各種應(yīng)用場(chǎng)景,而是以服務(wù)器核心組建的形式存在。作為算力的發(fā)動(dòng)機(jī),服務(wù)器規(guī)模是統(tǒng)計(jì)算力的直觀指標(biāo)之一。
中國(guó)信通院《中國(guó)算力白皮書(2022)》按照服務(wù)器算力總量估算(年服務(wù)器出貨規(guī)?!廉?dāng)年服務(wù)器平均算力)稱,全球算力規(guī)模美國(guó)占比34%,中國(guó)占比33%,歐洲占比14%,日本占比5%,其他國(guó)家或地區(qū)占比14%。
另?yè)?jù)2022年第60期“全球TOP 500 超級(jí)計(jì)算機(jī)”排行榜顯示,中國(guó)有兩臺(tái)計(jì)算機(jī)入圍此次榜單中的 TOP 10,共有 162 臺(tái)計(jì)算機(jī)入圍 TOP 500 總榜單。不過,此前超算中心更多是應(yīng)用在科研、軍事、醫(yī)療、高能物理、氣象觀測(cè)等方方面面。
GPU服務(wù)器拯救“賣鏟人”
如果說涌入AI大模型賽道的企業(yè)是“淘金者”,浪潮、聯(lián)想、中興通訊等服務(wù)器供應(yīng)商扮演的則是“賣鏟人”的角色。
此前,在全球云服務(wù)市場(chǎng)持續(xù)低迷的背景下,部分服務(wù)器廠商陷入營(yíng)收和凈利潤(rùn)雙下滑的窘境。
以國(guó)內(nèi)服務(wù)器出貨量第一的浪潮信息(IDC數(shù)據(jù),2022年市占率28.1%)為例。浪潮信息99%的收入來自服務(wù)器。2023年第一季度,公司營(yíng)收94億元,同比下降45.59%,凈利潤(rùn)1.94億元,同比下降40.06%。
服務(wù)器廠商的客戶主要分為互聯(lián)網(wǎng)云廠商、電信運(yùn)營(yíng)商、數(shù)據(jù)中心服務(wù)商、地方大數(shù)據(jù)產(chǎn)業(yè)園等。其中,互聯(lián)網(wǎng)云廠商和電信運(yùn)營(yíng)商的采購(gòu)占大頭,服務(wù)器采購(gòu)量占比分別約為40%和15%。
作為服務(wù)器采購(gòu)的大頭,互聯(lián)網(wǎng)云廠商提貨量減少是部分服務(wù)器廠商業(yè)績(jī)下滑的主要原因之一?!耙话愣?,互聯(lián)網(wǎng)對(duì)服務(wù)器的需求快于其他行業(yè)的增長(zhǎng),去年是一個(gè)比較特殊的年份(大部分互聯(lián)網(wǎng)公司降本增效),考慮經(jīng)營(yíng)現(xiàn)金流的情況,互聯(lián)網(wǎng)企業(yè)在服務(wù)器采購(gòu)方面比較謹(jǐn)慎,反而是從5G轉(zhuǎn)向云及算力網(wǎng)絡(luò)布局的運(yùn)營(yíng)商在大規(guī)模采購(gòu)服務(wù)器?!蹦撤?wù)器廠商相關(guān)負(fù)責(zé)人對(duì)《深網(wǎng)》透露。
從中國(guó)移動(dòng)、中國(guó)電信、中國(guó)聯(lián)通三大運(yùn)營(yíng)商公布財(cái)報(bào)數(shù)據(jù)看,三大運(yùn)營(yíng)商在2023年增加了算力支出。
需要指出的是,在去年1495萬(wàn)臺(tái)服務(wù)器出貨量中,搭載 GPGPU(General Purpose GPU)的 AI服務(wù)器的出貨量?jī)H為13萬(wàn)臺(tái)(據(jù)Trendforce數(shù)據(jù)),僅占整體服務(wù)器采購(gòu)量的1%。
中興通訊COO謝峻石稱,未來服務(wù)器市場(chǎng)空間很大,據(jù)第三方數(shù)據(jù),全球服務(wù)器市場(chǎng)規(guī)模約1000億美元,中國(guó)服務(wù)器市場(chǎng)規(guī)模約1800億元,預(yù)計(jì)未來五年年復(fù)合增長(zhǎng)率達(dá)9%。據(jù)透露,預(yù)計(jì)今年年底,中興通訊將推出支持大帶寬ChatGPT類模型的GPU服務(wù)器。
“ChatGPT引爆新一輪人工智能革命,上游云廠商及運(yùn)營(yíng)商對(duì)GPU服務(wù)器及加速計(jì)算的需求會(huì)持續(xù)上漲,布局GPU服務(wù)器的廠商在未來將迎來新的增長(zhǎng)點(diǎn)?!鄙鲜龇?wù)器廠商相關(guān)負(fù)責(zé)人表示。
聯(lián)想集團(tuán)ISG(基礎(chǔ)設(shè)施方案業(yè)務(wù))總裁Kirk Skaugen告訴《深網(wǎng)》,從硬件角度上來講,每臺(tái)服務(wù)器上面的GPU的數(shù)量是增長(zhǎng)了,據(jù)第三方機(jī)構(gòu)預(yù)測(cè),每臺(tái)服務(wù)器的售價(jià)可能會(huì)有10到15倍的增長(zhǎng)。目前,聯(lián)想在全球服務(wù)器市場(chǎng)排名第三,排在前面的是戴爾、惠普?!拔覀儽容^看重高速增長(zhǎng),如果從數(shù)據(jù)上來講,希望是兩倍于市場(chǎng)的增長(zhǎng)或者是市場(chǎng)10%的占有率。”
聯(lián)系客服