預(yù)訓(xùn)練大模型為生成式AI帶來里程碑式飛躍。
2017年Transformer架構(gòu)的出現(xiàn)改善了循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的局限性，標(biāo)志性特征是采用了self-attention機(jī)制，可為輸入數(shù)據(jù)的各部分分配不同權(quán)重，支持GPT-3和LaMDA等大型語言模型(LLM)。
Transformer模型可并行訓(xùn)練，使GPU性能改善所帶來的模型訓(xùn)練效果顯著提升，同時(shí)可以通過不斷增加模型參數(shù)量以及預(yù)訓(xùn)練使用的數(shù)據(jù)量來提升模型性能。
以Transformer架構(gòu)為基礎(chǔ)衍生出的典型預(yù)訓(xùn)練語言模型大致可以分為三類：
1）Encoder模型（以BERT為代表）：又稱自編碼模型，適用于內(nèi)容理解任務(wù)，例如需要理解輸入語義的任務(wù)，例如情感分析；
2）Decoder模型（以GPT為代表）：又稱自回歸模型，適用于生成式任務(wù)，例如文本生成；
3）Encoder-Decoder模型（以T5為代表）：又稱Seq2Seq模型，通常用于需要內(nèi)容理解和生成的任務(wù)，例如翻譯。
Transformer三條路線中，GPT模型進(jìn)展較快。
AI大模型化是過去兩年內(nèi)興起的新潮流，自監(jiān)督學(xué)習(xí)+預(yù)訓(xùn)練模型微調(diào)適配方案逐漸成為主流，AI 模型走向大數(shù)據(jù)支撐下的泛化成為可能。
以O(shè)penAI、谷歌、微軟、Facebook、NVIDIA 等機(jī)構(gòu)為代表，布局大規(guī)模智能模型已成為全球引領(lǐng)性趨勢(shì)，并形成了GPT-3、Switch Transformer 等大參數(shù)量的基礎(chǔ)模型。
在大模型領(lǐng)域，以百度、騰訊、阿里、華為為代表的國內(nèi)科技巨頭均已布局多年。=
其中百度早在2019年3月發(fā)布預(yù)訓(xùn)練模型ERNIE 1.0，2023年3月推出了文心一言（ERNIE Bot）。
2021年4月，華為發(fā)布盤古大模型。
2022年4月，騰訊對(duì)外披露混元大模型。
2022年9月，阿里發(fā)布通義大模型系列。
百度文心大模型
百度率先在2019年3月發(fā)布預(yù)訓(xùn)練模型ERNIE 1.0，持續(xù)投入大模型的技術(shù)創(chuàng)新與產(chǎn)業(yè)應(yīng)用，布局了NLP、CV、跨模態(tài)等大模型，率先提出行業(yè)大模型，構(gòu)建大模型工具與平臺(tái)，探索產(chǎn)品與社區(qū)，在企業(yè)端和用戶端均有不同程度的突破。
阿里通義大模型
2022年9月2日，阿里巴巴資深副總裁、達(dá)摩院副院長周靖人發(fā)布阿里巴巴最新「通義」大模型系列，其打造了國內(nèi)首個(gè) AI 統(tǒng)一底座，并構(gòu)建了通用與專業(yè)模型協(xié)同的層次化人工智能體系，將為 AI 從感知智能邁向知識(shí)驅(qū)動(dòng)的認(rèn)知智能提供先進(jìn)基礎(chǔ)設(shè)施。
騰訊混元大模型
2022年4月，騰訊對(duì)外正式宣布，騰訊“混元”AI大模型在MSR-VTT，MSVD，LSMDC，DiDeMo和ActivityNet五大跨模態(tài)視頻檢索數(shù)據(jù)集榜單中先后取得第一名的成績(jī)，實(shí)現(xiàn)了該領(lǐng)域的大滿貫。
華為盤古大模型
華為云盤古大模型于2021年4月正式發(fā)布，到2022年聚焦行業(yè)應(yīng)用落地，已經(jīng)發(fā)展出包括基礎(chǔ)大模型（L0）、行業(yè)大模型（L1）、行業(yè)細(xì)分場(chǎng)景模型（L2）三大階段的成熟體系。
某機(jī)構(gòu)認(rèn)為，各大巨頭目前在大模型技術(shù)上基本同源，且都具有資金、算力、人才、數(shù)據(jù)等發(fā)展條件，未來有望成為我國大模型的第一梯隊(duì)。
各家在應(yīng)用場(chǎng)景上各有所長：百度具有搜索、小度智能音箱等應(yīng)用場(chǎng)景；
騰訊具有W信、游戲等應(yīng)用場(chǎng)景
阿里具有電商、釘釘?shù)葢?yīng)用場(chǎng)景；
華為在2B應(yīng)用方面獨(dú)具優(yōu)勢(shì)。
未來各家將結(jié)合自身優(yōu)勢(shì)，發(fā)力大模型研發(fā)及應(yīng)用落地，我國的大模型產(chǎn)業(yè)將迎來快速發(fā)展階段。
除此以外，大模型帶來了大算力的需求，其主要包括：AI芯片、AI服務(wù)器，交換器、光通信中CPO、光纖、光芯片以及IDC和冷液等。
（匯總相關(guān)企業(yè)，非推薦，有些企業(yè)還出現(xiàn)了穿插）
百度大模型相關(guān)：漢得信息、東軟集團(tuán)、宇信科技、致遠(yuǎn)互聯(lián)、軟通動(dòng)力、銀之杰、風(fēng)語筑、掌閱科技、藍(lán)色光標(biāo)等。
阿里大模型相關(guān)：恒生電子、千方科技、石基信息、眾信旅游、衛(wèi)寧健康、金橋信息等。
騰訊大模型相關(guān)：博思軟件、世紀(jì)華通、掌趣科技、常山北明、四維圖新、泛微網(wǎng)絡(luò)、長亮科技等。
華為大模型相關(guān)：常山北明、拓維信息、特發(fā)信息、潤和軟件、神州數(shù)碼、寶蘭德、創(chuàng)意信息、科藍(lán)軟件、軟通動(dòng)力、賽意信息等。
重要提示：股市有風(fēng)險(xiǎn)，入市需謹(jǐn)慎！以上內(nèi)容僅供投資者參考，僅出于傳播財(cái)學(xué)資訊的目的，不作為投資決策的依據(jù)。
聯(lián)系客服
