Large Language Model（LLM）是一種基于深度學(xué)習(xí)的自然語(yǔ)言處理模型，它能夠?qū)W習(xí)到自然語(yǔ)言的語(yǔ)法和語(yǔ)義，從而可以生成人類(lèi)可讀的文本。LLM 通?；谏窠?jīng)網(wǎng)絡(luò)模型，使用大規(guī)模的語(yǔ)料庫(kù)進(jìn)行訓(xùn)練，比如使用互聯(lián)網(wǎng)上的海量文本數(shù)據(jù)。這些模型通常擁有數(shù)十億到數(shù)萬(wàn)億個(gè)參數(shù)，能夠處理各種自然語(yǔ)言處理任務(wù)，如自然語(yǔ)言生成、文本分類(lèi)、文本摘要、機(jī)器翻譯、語(yǔ)音識(shí)別等。
“l(fā)arge language model” — Image Creator[1] powered by DALL·E
2020 年 OpenAI 發(fā)布 GPT-3[2]，大型語(yǔ)言模型（LLM）自此在流行度上一直保持穩(wěn)定的增長(zhǎng)。
直到 2022 年 11 月份，隨著 ChatGPT 發(fā)布[3]，LLM 和生成式人工智能的整個(gè)領(lǐng)域的興趣飆升。這些原因可能是 LLM 領(lǐng)域持續(xù)向前邁進(jìn)的重大進(jìn)展所致。
從谷歌 LaMDA 聊天機(jī)器人的驚人新聞（Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry'[4]），首個(gè)高性能的開(kāi)源 LLM BLOOM[5] 發(fā)布，再到后來(lái) OpenAI 接連發(fā)布 ChatGPT Plus[6]、ChatGPT 和 Whisper API[7]、ChatGPT 插件[8] 和 GPT-4[9] 等等，不斷將 AI 推向高潮。
BLOOM[10]：是一種自回歸的大型語(yǔ)言模型 (LLM)，使用工業(yè)級(jí)計(jì)算資源在大量文本數(shù)據(jù)上訓(xùn)練，能夠在 46 種語(yǔ)言和 13 種編程語(yǔ)言中輸出幾乎無(wú)法與人類(lèi)寫(xiě)作的文本相區(qū)分的連貫文本。BLOOM 還可以通過(guò)將其作為文本生成任務(wù)來(lái)執(zhí)行它沒(méi)有明確訓(xùn)練過(guò)的文本任務(wù)。
AI 應(yīng)用也在爆炸式增長(zhǎng)中，每天睜開(kāi)眼睛都會(huì)出現(xiàn)一大堆新產(chǎn)品，許多網(wǎng)友表示學(xué)不動(dòng)了。例如：微軟發(fā)布了《AI 全家桶：Microsoft 365 Copilot》，New Bing，GitHub Copilot X[11]，Google Bard[12]、Adobe Firefly[13]...（此處省略許多） 等一系列 AI 產(chǎn)品。
下面就來(lái)盤(pán)點(diǎn)一下近期 LLM 開(kāi)源生態(tài)發(fā)生的一系列事件（注意：以下這些整理僅限個(gè)人了解，并非全部）。
GPT 生態(tài)
DeepSpeed
DeepSpeed[14]: 是一個(gè)深度學(xué)習(xí)優(yōu)化庫(kù)，它使分布式訓(xùn)練和推理變得簡(jiǎn)單、高效和有效。一鍵式 RLHF 訓(xùn)練，讓你的類(lèi) ChatGPT 千億大模型提速省錢(qián) 15 倍。說(shuō)人話就是：自己本地可以訓(xùn)練部署類(lèi) ChatGPT 模型，既高效又省錢(qián)。（了解更多《DeepSpeed Chat：一鍵搞定不同規(guī)模 ChatGPT 類(lèi)模型訓(xùn)練！》）
MiniGPT-4
論文：
MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models[15]
Plug-and-Play VQA: Zero-shot VQA by Conjoining Large Pretrained Models with Zero Training[16]
Flamingo: a Visual Language Model for Few-Shot Learning[17]
GitHub：Vision-CAIR/MiniGPT-4[18]
模型：Vision-CAIR/MiniGPT-4[19]
數(shù)據(jù)集：Vision-CAIR/cc_sbu_align[20]
在線體驗(yàn)：Minigpt-4[21]
MiniGPT-4 是由一個(gè)包含預(yù)訓(xùn)練 ViT 和 Q-Former[22] 的視覺(jué)編碼器，一個(gè)線性投影層和一個(gè)先進(jìn)的 Vicuna 大型語(yǔ)言模型組成的。MiniGPT-4 只需要訓(xùn)練線性層，以將視覺(jué)特征與 Vicuna 對(duì)齊。（了解更多《多模態(tài) MiniGPT-4 開(kāi)源了！》）
minGPT
minGPT[23] 是 GPT[24] 的 PyTorch 重實(shí)現(xiàn)，包括訓(xùn)練和推理。minGPT 試圖做到小型、清晰、易于解釋和教育性，因?yàn)楫?dāng)前大多數(shù)可用的 GPT 模型實(shí)現(xiàn)都有點(diǎn)冗長(zhǎng)。GPT 并不是一個(gè)復(fù)雜的模型，這個(gè)實(shí)現(xiàn)只有大約 300 行代碼（見(jiàn) mingpt/model.py[25]）。它的主要功能是將一系列索引輸入到 Transformer[26] 中，并輸出下一個(gè)索引在序列中的概率分布。大部分復(fù)雜性只是為了有效率地進(jìn)行批處理（跨示例和序列長(zhǎng)度）。
nanoGPT
nanoGPT[27] 是一個(gè)訓(xùn)練/微調(diào)中型 GPTs 的最簡(jiǎn)單、最快速的存儲(chǔ)庫(kù)。它是 minGPT 的重寫(xiě)。minGPT 被廣泛引用于各種場(chǎng)合（筆記本、博客、課程、書(shū)籍等），這使得作者不太愿意對(duì)代碼進(jìn)行更大的變化。nanoGPT 將 minGPT 從單純的教育重點(diǎn)轉(zhuǎn)向一些具有實(shí)際應(yīng)用性的方向（可以重現(xiàn)中型工業(yè)基準(zhǔn)、接受一些權(quán)衡以獲得運(yùn)行時(shí)效率等）。
GPT4Free
注意：此項(xiàng)目?jī)H供學(xué)習(xí)研究，大概率涉及 OpenAI 侵權(quán)，請(qǐng)謹(jǐn)慎使用。
GPT4Free[28] 致力于幫助你釋放 ChatGPT 的全部潛力！是否已經(jīng)厭倦了遇到需要 OpenAI API 密鑰的令人難以置信的項(xiàng)目，但最終因?yàn)闆](méi)有密鑰而感到失望？那么你可以試試此項(xiàng)目！項(xiàng)目提供了第三方 GPT-4/3.5 API 的反向工程版本，這些版本來(lái)自各個(gè)網(wǎng)站，讓你可以在沒(méi)有任何障礙（項(xiàng)目提供的可使用模塊，其設(shè)計(jì)就像 OpenAI 官方包一樣）的情況下開(kāi)始你的項(xiàng)目。
AutoGPT
Auto-GPT[29] 是一個(gè)實(shí)驗(yàn)性的開(kāi)源應(yīng)用程序，展示了 GPT-4 語(yǔ)言模型的能力。由 GPT-4 驅(qū)動(dòng)，將大語(yǔ)言模型（LLM）的'思考'鏈接在一起，以自主地實(shí)現(xiàn)你設(shè)定的任何目標(biāo)。作為 GPT-4 完全自主運(yùn)行的最早的例子之一，Auto-GPT 推動(dòng)了人工智能所能實(shí)現(xiàn)的界限。
簡(jiǎn)單來(lái)說(shuō)：當(dāng)你告訴 AutoGPT 最終目標(biāo)是什么，它將自行生成并完成每一步任務(wù)所需的提示，直到返回最終的結(jié)果（在這期間它會(huì)調(diào)用網(wǎng)絡(luò)和 GPT-4）。但 AutoGPT 之所以流行，是因?yàn)槿藗儗?duì)它能做什么以及它對(duì)未來(lái)可能意味著什么著迷。AutoGPT 通過(guò)自己的推理達(dá)到目標(biāo)的能力與人類(lèi)的思考行為，處理信息的方式極其相似。
AgentGPT
AgentGPT[30] 允許你配置和部署自主 AI 代理。為自己的定制 AI 命名，并讓它開(kāi)始實(shí)現(xiàn)任何想象的目標(biāo)。它將通過(guò)思考要做的任務(wù)、執(zhí)行它們并從結(jié)果中學(xué)習(xí)來(lái)嘗試達(dá)到目標(biāo) 。與 AutoGPT 類(lèi)似，但它是網(wǎng)頁(yè)版。
AudioGPT
論文：AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head[31]GitHub：AIGC-Audio/AudioGPT[32]體驗(yàn)地址：AudioGPT Demo[33]
AudioGPT 理解和生成語(yǔ)音、音樂(lè)、聲音和語(yǔ)音頭像。
DocsGPT
DocsGPT[34] 是一種先進(jìn)的開(kāi)源解決方案，簡(jiǎn)化了在項(xiàng)目文檔中查找信息的流程。它集成了強(qiáng)大的 GPT 模型，使開(kāi)發(fā)人員可以輕松地提出問(wèn)題，并獲得準(zhǔn)確的答案。告別耗時(shí)的手動(dòng)搜索，讓 DocsGPT 幫助你快速找到所需的信息。
逆向工程
acheong08/ChatGPT[35] 是 OpenAI ChatGPT API 的逆向工程，可擴(kuò)展為聊天機(jī)器人等。
acheong08/EdgeGPT[36] 是微軟 Bing Chat AI API 的逆向工程。
LLaMA 生態(tài)
LLaMA 基礎(chǔ)模型在 2023 年 2 月發(fā)布。到目前已經(jīng)有幾個(gè)新的經(jīng)過(guò)微調(diào)的 LLaMA 模型發(fā)布。
雖然時(shí)間不長(zhǎng)，但已經(jīng)發(fā)生了很多事情。本節(jié)（在 A brief history of LLaMA models[37] 基礎(chǔ)上，對(duì)內(nèi)容進(jìn)行補(bǔ)充）主要涵蓋一些模型的發(fā)展，并簡(jiǎn)要涉及一些工具：
LLaMA 基礎(chǔ)模型
Alpaca 模型
Vicuna 模型
Koala 模型
GPT4-x-Alpaca 模型
WizardLM 模型
OpenAssistant 模型
用于在本地運(yùn)行 LLaMA 模型的軟件，主要有以下這些：
ModelLLaMA (base model)
Size7B, 13B, 33B, 65B
Training dataVarious
ModelAlpaca
Size7B, 13B
Training data52k GPT-3 instructions
ModelVicuna
Size7B, 13B
Training data70k ChatGPT conversations
ModelKoala-distill
Size7B, 13B
Training data117k cleaned ChatGPT conversations
ModelGPT4-x-Alpaca
Size13B
Training data20k GPT4 instructions
ModelWizardML
Size7B
Training data70k instructions synthesized with ChatGPT/GPT-3
ModelOpenAssistant LLaMA
Size13B, 30B
Training data600k human interactions (OpenAssistant Conversations)
LLaMA 基礎(chǔ)模型
論文：LLaMA: Open and Efficient Foundation Language Models[38]
Blog：Introducing LLaMA: A foundational, 65-billion-parameter large language model[39]
GitHub：facebookresearch/LLaMA[40]
發(fā)布日期：2023 年 2 月
LLaMA（Large Language Model Meta AI）是由 Meta（Facebook）發(fā)布的一種語(yǔ)言模型。它是 Meta 對(duì) OpenAI 的 GPT 模型的回應(yīng)。與 GPT 一樣，LLaMA 旨在成為適合進(jìn)一步微調(diào)的通用基礎(chǔ)模型。LLaMA 模型具有以下變體：
7B 個(gè)參數(shù)
13B 個(gè)參數(shù)
33B 個(gè)參數(shù)
65B 個(gè)參數(shù)
注意：參數(shù)越多，模型越強(qiáng)大，但運(yùn)行時(shí)也需要更多的資源。
可訪問(wèn)性
與 GPT 不同，LLaMA 是一種開(kāi)源模型。你可以下載、學(xué)習(xí)并在本地運(yùn)行它們。要嘗試它們，需填寫(xiě) Google 表單申請(qǐng)[41]。
然而，這些模型在 2023 年 3 月泄露到 Torrent 上，距離它們發(fā)布不到一個(gè)月（了解更多 Facebook LLAMA is being openly distributed via torrents[42]）。
Torrent：是一種點(diǎn)對(duì)點(diǎn)（Peer-to-Peer，P2P）文件共享協(xié)議，用于在多個(gè)計(jì)算機(jī)之間共享大型文件，例如電影、音樂(lè)、軟件等。與傳統(tǒng)的文件下載方式不同，Torrent 使用一種分布式的下載方法，將文件劃分成許多小塊，然后由不同的用戶在網(wǎng)絡(luò)上共享這些塊。這使得下載速度更快，同時(shí)也可以減輕單個(gè)服務(wù)器的負(fù)擔(dān)。為了使用 Torrent 協(xié)議，用戶需要安裝一個(gè) Torrent 客戶端程序，例如 qBittorrent[43]、uTorrent[44] 等。然后，用戶可以通過(guò) Torrent 網(wǎng)站或種子（.torrent）文件來(lái)獲取所需的文件，然后使用 Torrent 客戶端來(lái)下載它們。
目標(biāo)
LLaMA 的目標(biāo)是構(gòu)建適合給定推理預(yù)算（例如，在 NVIDIA 3090[45] 上使用少于 10GB VRAM）的最佳性能模型。
NVIDIA 3090：GeForce RTX? 3090 Ti 和 3090 由 Ampere（NVIDIA 的第二代 RTX 架構(gòu)）提供支持。它們具有專(zhuān)用的第二代 RT 核心和第三代 Tensor 核心、流式多處理器以及驚人的 24 GB G6X 內(nèi)存，為玩家和創(chuàng)作者提供高質(zhì)量的性能。
VRAM（Video random-access memory）：是一種計(jì)算機(jī)內(nèi)存類(lèi)型，用于存儲(chǔ)圖像、視頻等視覺(jué)內(nèi)容的數(shù)據(jù)，通常是在顯卡中使用。它是一種專(zhuān)門(mén)為圖形處理而設(shè)計(jì)的高速 RAM，可以快速地讀取和寫(xiě)入大量的圖形數(shù)據(jù)。顯卡的性能和可用內(nèi)存大小直接影響著計(jì)算機(jī)的圖形處理能力和性能。在機(jī)器學(xué)習(xí)中，VRAM 的大小也是一個(gè)重要的考慮因素，因?yàn)榇笮湍Ｐ托枰罅康膬?nèi)存來(lái)進(jìn)行訓(xùn)練和推理。
模型架構(gòu)
LLaMA 是一種 Transformer 模型，類(lèi)似于 GPT，具有以下修改：
規(guī)范化每個(gè)變壓器子層的輸入，以提高訓(xùn)練穩(wěn)定性
使用 SwiGLU 代替 ReLU 以提高性能
使用旋轉(zhuǎn)嵌入而不是絕對(duì)位置以提高性能
下表總結(jié)了模型參數(shù)（作為參考：GPT-3 有 175B 個(gè)參數(shù)， LLaMA 模型則很?。?/p>
7B
Parameters6.7B
Layers32
Attention heads32
Embedding dimension4,096
13B
Parameters13B
Layers40
Attention heads40
Embedding dimension5,120
33B
Parameters33B
Layers60
Attention heads52
Embedding dimension6,656
65B
Parameters65B
Layers80
Attention heads64
Embedding dimension8,192
Transformer 模型：
是一種基于注意力機(jī)制（attention mechanism）的神經(jīng)網(wǎng)絡(luò)模型，用于自然語(yǔ)言處理和其他序列數(shù)據(jù)任務(wù)。Transformer 模型最早由 Google 在 2017 年提出（Transformer: A Novel Neural Network Architecture for Language Understanding[46]），被應(yīng)用于機(jī)器翻譯任務(wù)，并在各種自然語(yǔ)言處理任務(wù)中取得了優(yōu)秀的表現(xiàn)。
與傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）模型不同，Transformer 模型使用了全新的架構(gòu)，即自注意力機(jī)制。自注意力機(jī)制可以使模型對(duì)輸入序列的不同位置進(jìn)行加權(quán)，從而更好地捕捉輸入序列之間的依賴(lài)關(guān)系，使模型在處理長(zhǎng)序列時(shí)更加高效和準(zhǔn)確。Transformer 模型通常由編碼器和解碼器兩部分組成，可以用于各種序列到序列的任務(wù)，如機(jī)器翻譯、文本摘要、對(duì)話生成等。
訓(xùn)練
LLaMA 的預(yù)訓(xùn)練數(shù)據(jù)包括：
英語(yǔ) CommonCrawl[47]（占 67%）：移除非英語(yǔ)文本和重復(fù)內(nèi)容，僅包括用作維基百科參考的頁(yè)面
C4[48]（占 15%）：一個(gè)經(jīng)過(guò)清理的 CommonCrawl 版本，應(yīng)用了同樣的過(guò)濾器
Github（占 4.5%）：Google BigQuery 上可用的公共 GitHub 數(shù)據(jù)集
Wikipedia（占 4.5%）：涵蓋 20 種語(yǔ)言的 2022 年 6 月至 8 月期間的維基百科數(shù)據(jù)
Gutenberg 和 Books3（占 4.5%）：書(shū)籍?dāng)?shù)據(jù)集
ArXiv（占 45%）：科學(xué)數(shù)據(jù)
StackExchange（占 2%）：涵蓋科學(xué)和工程主題的高質(zhì)量問(wèn)答
分詞器使用了基于字節(jié)對(duì)編碼的 SentencePiece[49]（無(wú)監(jiān)督文本標(biāo)記器，用于基于神經(jīng)網(wǎng)絡(luò)的文本生成），該訓(xùn)練數(shù)據(jù)包含 1.4T 個(gè)標(biāo)記。
Google BigQuery[50]：是一項(xiàng)全托管的云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)，可讓用戶分析和查詢(xún)大型數(shù)據(jù)集。它由 Google 云平臺(tái)提供，可以存儲(chǔ)和查詢(xún) PB 級(jí)別的數(shù)據(jù)，而無(wú)需用戶管理任何基礎(chǔ)架構(gòu)。用戶可以使用標(biāo)準(zhǔn) SQL 查詢(xún)語(yǔ)言，通過(guò) Web UI、命令行界面、API 等多種方式訪問(wèn) BigQuery 服務(wù)，并支持將數(shù)據(jù)導(dǎo)入到 BigQuery 中，以進(jìn)行進(jìn)一步的分析和處理。
表現(xiàn)
通過(guò)常識(shí)推理、閱讀理解和代碼生成等任務(wù)對(duì)模型進(jìn)行評(píng)估。性能總結(jié)：
模型越大越好：在大多數(shù)任務(wù)中，更大的模型表現(xiàn)更好
提示中的示例越多越好：在自然問(wèn)題任務(wù)中，給 LLaMA 7B 模型 5 個(gè)示例幾乎與不給 65B 模型示例一樣好
小型高性能模型：LLaMA 13B 的性能類(lèi)似于 GPT-3，盡管參數(shù)只有后者的 1/10（13B 對(duì)比 175B）
LLaMA 在量化推理方面表現(xiàn)不佳：特別是小型的 7B 和 13B 模型
LLaMA 不像 ChatGPT 那樣針對(duì)指令跟隨進(jìn)行調(diào)整。但是，65B 模型可以跟隨基本指令。我們將等待 Alpaca（不久）
模型大小比較
使用更大的 LLaMA 模型可以獲得多少收益？下表總結(jié)了不同類(lèi)別任務(wù)的性能。它們是根據(jù)研究論文中提供的分?jǐn)?shù)計(jì)算，假設(shè)是線性比例。LLaMA 模型的性能（標(biāo)準(zhǔn)化為 65B 為 100%）：
7B
Average65%
Common sense reasoning92%
Natural Questions65%
Reading comprehension90%
TriviaQA76%
Quantitative reasoning27%
Code generation53%
Multitask language understanding56%
13B
Average76%
Common sense reasoning95%
Natural Questions80%
Reading comprehension91%
TriviaQA86%
Quantitative reasoning39%
Code generation69%
Multitask language understanding74%
33B
Average91%
Common sense reasoning99%
Natural Questions95%
Reading comprehension94%
TriviaQA96%
Quantitative reasoning72%
Code generation89%
Multitask language understanding91%
65B
Average100%
Common sense reasoning100%
Natural Questions100%
Reading comprehension100%
TriviaQA100%
Quantitative reasoning100%
Code generation100%
Multitask language understanding100%
使用更大的模型值得嗎？當(dāng)從 7B 模型切換到 65B 模型時(shí)，你可以期望獲得大約 50％ 的通用性能提升。但這也取決于你使用模型的目的。對(duì)于常識(shí)推理和閱讀理解任務(wù)，你只會(huì)看到小幅的提升。對(duì)于代碼生成和技術(shù)閱讀任務(wù)，你將看到很大的提升。
小結(jié)
如果你使用足夠的數(shù)據(jù)對(duì)小模型進(jìn)行訓(xùn)練，它們可以表現(xiàn)良好。這為在 PC 上運(yùn)行“本地 ChatGPT” 的可能性打開(kāi)了大門(mén)。但是，LLaMA 基礎(chǔ)模型沒(méi)有被訓(xùn)練來(lái)遵循指令。這將留待以后的開(kāi)發(fā)。
總之，LLaMA 旨在成為進(jìn)一步微調(diào)的基礎(chǔ)模型。它的優(yōu)點(diǎn)包括：
小型
開(kāi)源
表現(xiàn)良好（得益于廣泛的訓(xùn)練）
Alpaca 模型
論文：
LLaMA: Open and Efficient Foundation Language Models[51]
Self-Instruct: Aligning Language Model with Self Generated Instructions[52]
Blog：Alpaca: A Strong, Replicable Instruction-Following Model[53]
GitHub: tatsu-lab/stanford_alpaca[54]
Alpaca 是一個(gè)經(jīng)過(guò)微調(diào)的 LLaMA 模型，這意味著模型結(jié)構(gòu)相同，但權(quán)重略有不同。它旨在解決 LLaMA 模型缺乏遵循指令能力的問(wèn)題。它的行為類(lèi)似于 ChatGPT，可以跟隨對(duì)話和指令。7B 和 13B 的 Alpaca 模型現(xiàn)已可用。
訓(xùn)練
這個(gè)模型是被訓(xùn)練用來(lái)像 ChatGPT 一樣遵循指示的。首先使用 OpenAI 的 GPT-3 生成訓(xùn)練數(shù)據(jù)，然后使用 Self-Instruct 流程將其轉(zhuǎn)換為 52k 遵循指示的對(duì)話數(shù)據(jù)。因此，Alpaca 可以對(duì) ChatGPT 等對(duì)話進(jìn)行微調(diào)。
表現(xiàn)
作者中的部分人對(duì)它進(jìn)行了一項(xiàng)盲評(píng)，評(píng)估 Alpaca 7B 和 GPT-3 （具體來(lái)說(shuō)是經(jīng)過(guò)指令訓(xùn)練的 text-davinci-003 模型）的指令跟隨能力。評(píng)估結(jié)果表明兩者響應(yīng)的排名大致相等。這是一個(gè)令人驚訝的結(jié)果，因?yàn)?Alpaca 只有 GPT-3 的 1/26 大小。
當(dāng)然，這只是性能的一個(gè)狹窄方面。這并不意味著 Alpaca 在其他領(lǐng)域（如代碼生成和科學(xué)知識(shí)等）的表現(xiàn)與 GPT-3 相同，這些領(lǐng)域在研究中并未進(jìn)行測(cè)試。
小結(jié)
Alpaca 是微調(diào) LLaMA 模型的不錯(cuò)的一個(gè)開(kāi)始。它在性能方面將被類(lèi)似的微調(diào)方法 Vicuna 超越。
Vicuna 模型
Blog：Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality[55]
GitHub：lm-sys/FastChat[56]
在線體驗(yàn)：Chat with Open Large Language Models[57]
Vicuna 是通過(guò)微調(diào) LLaMA 模型對(duì)從 ShareGPT.com[58] 收集的用戶共享對(duì)話進(jìn)行訓(xùn)練。它有兩種大小可供選擇：7B 和 13B。
訓(xùn)練
該模型是由加州大學(xué)伯克利分校、卡內(nèi)基梅隆大學(xué)、斯坦福大學(xué)、加州大學(xué)圣地亞哥分校和 MBZUAI 的學(xué)術(shù)團(tuán)隊(duì)進(jìn)行微調(diào)訓(xùn)練的。
它使用 ShareGPT.com 上用戶分享的 70,000 個(gè) ChatGPT 對(duì)話進(jìn)行訓(xùn)練的。訓(xùn)練 7B 模型的成本僅為 140 美元，訓(xùn)練 13B 模型的成本為 300 美元。
表現(xiàn)
根據(jù) Blog 顯示輸出質(zhì)量約為 ChatGPT（GPT-4） 的 90％，使其成為可以在本地運(yùn)行的最佳語(yǔ)言模型。
作者使用了一種有趣的方法來(lái)評(píng)估模型的表現(xiàn)：使用 GPT-4 作為評(píng)判標(biāo)準(zhǔn)。他們讓 GPT-4 提出一些具有挑戰(zhàn)性的問(wèn)題，并讓 Vicuna 和其他最佳語(yǔ)言模型來(lái)回答。然后，他們要求 GPT-4 從不同的方面（例如：有用性和準(zhǔn)確性）評(píng)估答案的質(zhì)量。
以下是比較 LLaMA、Alpaca、Bard[59] 和 ChatGPT 的結(jié)果。在 GPT-4 的眼中，Vicuna 幾乎與 ChatGPT 一樣出色，比 LLaMA 和 Alpaca 優(yōu)異許多。
小結(jié)
當(dāng)前 Vicuna 模型是你可以在本地運(yùn)行的最佳 LLaMA 模型之一。但如果未來(lái)幾周情況發(fā)生變化，你也不必感到驚訝。
Koala 模型
Blog：Koala: A Dialogue Model for Academic Research[60]
GitHub：young-geng/EasyLM[61]
發(fā)布日期：2023 年 4 月
Koala 是一個(gè) LLaMA 7B 和 13B 模型，由加州大學(xué)伯克利分校的一個(gè)學(xué)術(shù)團(tuán)隊(duì)使用公開(kāi)可用的對(duì)話數(shù)據(jù)進(jìn)行微調(diào)。
訓(xùn)練
為了構(gòu)建 Koala，團(tuán)隊(duì)通過(guò)從 Web 和公共數(shù)據(jù)集中收集對(duì)話數(shù)據(jù)來(lái)篩選 Koala 的訓(xùn)練集。其中一部分?jǐn)?shù)據(jù)包括用戶在線發(fā)布的與大型語(yǔ)言模型（如ChatGPT）的對(duì)話。Koala 不是通過(guò)盡可能多地爬取 Web 數(shù)據(jù)來(lái)最大化數(shù)量，而是專(zhuān)注于收集小而高質(zhì)量的數(shù)據(jù)集。
訓(xùn)練數(shù)據(jù)包括來(lái)自多個(gè)數(shù)據(jù)集的過(guò)濾數(shù)據(jù)：
ChatGPT 蒸餾數(shù)據(jù)
ShareGPT：使用公共 API 收集了用戶在 ShareGPT 上共享的大約 60K 對(duì)話。為了保持?jǐn)?shù)據(jù)質(zhì)量，在用戶查詢(xún)級(jí)別進(jìn)行了重復(fù)數(shù)據(jù)刪除，并刪除了所有非英語(yǔ)對(duì)話，留下大約 30K 個(gè)示例。
Human ChatGPT Comparison Corpus (HC3)：使用來(lái)自 HC3 英語(yǔ)數(shù)據(jù)集[62]的人類(lèi)和 ChatGPT 響應(yīng)，其中包含約 60K 人類(lèi)答案和 27K ChatGPT 答案，用于約 24K 問(wèn)題，從而產(chǎn)生總數(shù)約 87K 的問(wèn)答示例。
開(kāi)源數(shù)據(jù)
Open Instruction Generalist (OIG)：使用由 LAION 策劃的 Open Instruction Generalist[63] 數(shù)據(jù)集的手動(dòng)選擇的子集。具體是 grade-school-math-instructions、poetry-to-songs 和 plot-screenplay-books-dialogue 數(shù)據(jù)集。這總共約有 30k 個(gè)例子。
Stanford Alpaca：使用 Alpaca 訓(xùn)練數(shù)據(jù)集，該數(shù)據(jù)集包含大約 52K 個(gè)例子，是由 OpenAI 的 text-davinci-003 按照自我指導(dǎo)過(guò)程生成的。值得注意的是，HC3、OIG 和 Alpaca 數(shù)據(jù)集是單輪問(wèn)答，而 ShareGPT 數(shù)據(jù)集是對(duì)話會(huì)話。
Anthropic HH：Anthropic HH 數(shù)據(jù)集[64]包含對(duì)模型輸出有害和有幫助性的人類(lèi)評(píng)分。該數(shù)據(jù)集包含約 160K 個(gè)人工評(píng)定的示例，其中每個(gè)示例由兩個(gè)聊天機(jī)器人的響應(yīng)組成，其中一個(gè)響應(yīng)由人類(lèi)優(yōu)先選擇。該數(shù)據(jù)集為 Koala 模型提供了能力和額外的安全保護(hù)。
OpenAI WebGPT：OpenAI WebGPT 數(shù)據(jù)集[65]包括總共約 20K 個(gè)比較，每個(gè)例子包括一個(gè)問(wèn)題、一對(duì)模型答案和元數(shù)據(jù)。這些答案由人類(lèi)評(píng)分，并得到一個(gè)優(yōu)先得分。
OpenAI Summarization：OpenAI 摘要數(shù)據(jù)集[66]包含約 93K 個(gè)示例，每個(gè)示例都包含人類(lèi)對(duì)模型生成的摘要的反饋。人類(lèi)評(píng)估人員從兩個(gè)選項(xiàng)中選擇了更好的摘要。
訓(xùn)練了兩個(gè)模型：
Koala-Distill：只使用 ChatGPT 蒸餾數(shù)據(jù)
Koala-All：使用所有數(shù)據(jù)（包括 ChatGPT 蒸餾和開(kāi)源數(shù)據(jù)）
小結(jié)
數(shù)據(jù)質(zhì)量比數(shù)量更重要。使用僅 ChatGPT 數(shù)據(jù)進(jìn)行微調(diào)的 Koala-Distll 的性能優(yōu)于使用其他數(shù)據(jù)進(jìn)行訓(xùn)練的 Koala-All。在未來(lái)，尋找或生成高質(zhì)量的數(shù)據(jù)來(lái)微調(diào) LLaMA 模型是重要的。
GPT4-x-Alpaca 模型
HuggingFace：chavinlo/gpt4-x-alpaca[67]
發(fā)布日期：2023 年 4 月
GPT4-x-Alpaca 是一個(gè) LLaMA 13B 模型，使用 GPT4 對(duì)話集合 GPTeacher[68] 進(jìn)行了微調(diào)。關(guān)于它的訓(xùn)練和表現(xiàn)的信息不多。以下是一些社區(qū)為評(píng)估該模型所做的努力：
AI Showdown: GPT-4-x-Alpaca vs. Vicuna, GPT-4 as the judge (test in comments)[69]
New model: gpt4-x-alpaca-13b-native-4bit-128g !![70]
WizardLM 模型
論文：WizardLM: Empowering Large Language Models to Follow Complex Instructions[71]
GitHub：nlpxucan/WizardLM[72]
發(fā)布日期：2023 年 4 月
WizardLM 是一個(gè)經(jīng)過(guò)微調(diào)的 7B LLaMA 模型。它通過(guò)大量具有不同難度的指令跟隨對(duì)話進(jìn)行微調(diào)。這個(gè)模型的新穎之處在于使用了 LLM 來(lái)自動(dòng)生成訓(xùn)練數(shù)據(jù)。
訓(xùn)練
WizardLM 模型使用一種名為 Evol-Instruct[73]（是一種使用 LLM 代人類(lèi)自主批生成各種難度等級(jí)和技術(shù)范圍的開(kāi)放指令，以提高 LLM 能力的新方法）的新方法，通過(guò) 70k 個(gè)計(jì)算機(jī)生成的指令進(jìn)行訓(xùn)練，該方法生成具有不同難度級(jí)別的指令。
Evol-Instruct 使用以下五個(gè)操作來(lái)擴(kuò)展提示：
添加約束
深化
具體化
增加推理步驟
復(fù)雜輸入
這些操作按順序應(yīng)用于初始指令以使其更加復(fù)雜，回復(fù)由 LLM 生成。
表現(xiàn)
為了評(píng)估 Wizard，作者在 Wizard 和基線之間進(jìn)行了盲配對(duì)比較（具體來(lái)說(shuō)就是：招募 10 個(gè)受過(guò)良好教育的人在五個(gè)方面對(duì) WizardLM 和其他模型的響應(yīng)進(jìn)行評(píng)估：相關(guān)性，知識(shí)水平，推理，計(jì)算和準(zhǔn)確性進(jìn)行了 1-5 的排名）。WizardLM 取得了明顯優(yōu)于 Alpaca 和 Vicuna-7b 的結(jié)果。
在測(cè)試集的高難度部分（難度等級(jí) >= 8）中，甚至表現(xiàn)出優(yōu)于 ChatGPT 的表現(xiàn)，勝率比 ChatGPT 高 7.9％（42.9％ 對(duì) 35.0％）。這表明 Wizard 的方法可以顯著提高大型語(yǔ)言模型處理復(fù)雜指令的能力。
OpenAssistant 模型
官網(wǎng)：Open Assistant[74]
論文：OpenAssistant Conversations -- Democratizing Large Language Model Alignment[75]
GitHub：LAION-AI/Open-Assistant[76]
模型：OpenAssistant LLaMa 30B SFT 6[77]
視頻：OpenAssistant RELEASED! The world's best open-source Chat AI![78]
在線體驗(yàn)：Large Language Model Chat API[79]
發(fā)布日期：2023 年 4 月
OpenAssistant 是一個(gè)開(kāi)源項(xiàng)目，旨在開(kāi)發(fā)免費(fèi)提供給所有人使用的 AI 聊天機(jī)器人。訓(xùn)練數(shù)據(jù)集 OpenAssistant Conversations 包含了超過(guò) 60 萬(wàn)個(gè)涉及各種主題的交互，用于訓(xùn)練各種模型。目前發(fā)布了經(jīng)過(guò)指令調(diào)整的 LLaMA 13B 和 30B 模型，以及其他使用相同數(shù)據(jù)集訓(xùn)練的模型。（了解更多《Open Assistant：開(kāi)源聊天助手》）
Lit-LLaMA
Lightning-AI/lit-llama[80]：基于 nanoGPT（用于訓(xùn)練/微調(diào)中型 GPT 的最簡(jiǎn)單、最快的存儲(chǔ)庫(kù)） 實(shí)現(xiàn)的 LLaMA 語(yǔ)言模型。支持 flash attention、Int8 和 GPTQ 4bit 量化、LoRA 和 LLaMA-Adapter 微調(diào)、預(yù)訓(xùn)練。項(xiàng)目采用 Apache 2.0 開(kāi)源許可證[81]。
Lit-LLaMA 認(rèn)為人工智能應(yīng)該完全開(kāi)源并成為集體知識(shí)的一部分。但原始的 LLaMA 代碼采用 GPL 許可證[82]，這意味著使用它的任何項(xiàng)目也必須在 GPL 下發(fā)布。這“污染”了其他代碼，阻止了與生態(tài)系統(tǒng)的集成。Lit-LLaMA 永久性地解決了這個(gè)問(wèn)題。
Dolly
Blog：Hello Dolly: Democratizing the magic of ChatGPT with open models[83]
GitHub：databrickslabs/dolly[84]
模型：
EleutherAI/gpt-j-6b[85]
databricks/dolly-v2-12b[86]：Dolly2.0 是第一個(gè)開(kāi)源的指令跟隨型大型語(yǔ)言模型，通過(guò)在經(jīng)過(guò)授權(quán)用于研究和商業(yè)用途的人工生成指令數(shù)據(jù)集上進(jìn)行微調(diào)。
Dolly 是一款基于 EleutherAI[87] 開(kāi)源 6 億參數(shù)模型修改而來(lái)的 LLM（Language Model），能夠表現(xiàn)出類(lèi)似于 ChatGPT 的指令跟隨能力，并且能夠在生成文本、頭腦風(fēng)暴和開(kāi)放式問(wèn)答等方面表現(xiàn)出與 ChatGPT 相似的定性能力。其工作原理是在 Alpaca 的數(shù)據(jù)支持下，對(duì) EleutherAI 的開(kāi)源模型 pythia-12b[88] 進(jìn)行微調(diào)，以實(shí)現(xiàn)頭腦風(fēng)暴和文本生成等指令跟隨能力。了解更多 Hello Dolly: Democratizing the magic of ChatGPT with open models[89]。
RedPajama
Blog：RedPajama, a project to create leading open-source models, starts by reproducing LLaMA training dataset of over 1.2 trillion tokens[90]
數(shù)據(jù)集：togethercomputer/RedPajama-Data[91]
RedPajama 旨在創(chuàng)建一組領(lǐng)先的、完全開(kāi)源模型的項(xiàng)目。GPT-4 等基礎(chǔ)模型推動(dòng)了 AI 的快速改進(jìn)。然而，最強(qiáng)大的模型是封閉的商業(yè)模型或僅部分開(kāi)放。目前該項(xiàng)目第一步已完成：復(fù)制超過(guò) 1.2 萬(wàn)億個(gè)標(biāo)記的 LLaMA 訓(xùn)練數(shù)據(jù)集。（了解更多《RedPajama 開(kāi)源：1.2 萬(wàn)億數(shù)據(jù)集的可商用語(yǔ)言模型！》）
ChatLLaMa
注意：此庫(kù)不包含 LLaMA 的權(quán)重；要訪問(wèn)權(quán)重，需要申請(qǐng) Meta 的表格。
ChatLLaMa[92] 可以讓你使用自己的數(shù)據(jù)和盡可能少的計(jì)算量有效地利用 LLM 的微調(diào)功能。其目的是通過(guò)抽象計(jì)算優(yōu)化和收集大量數(shù)據(jù)所需的工作，讓開(kāi)發(fā)人員高枕無(wú)憂。
StableLM
Blog：Stability AI Launches the First of its StableLM Suite of Language Models[93]
GitHub：stability-AI/stableLM[94]
模型：StableVicuna-13B[95]
體驗(yàn)地址：StableLM-Tuned-Alpha-7b Chat[96]
2022 年，Stability AI 推出了 Stable Diffusion，這是一種革命性的圖像模型，代表了專(zhuān)有 AI 的透明、開(kāi)放和可擴(kuò)展的替代方案。隨著 StableLM 模型套件的推出，Stability AI 正在繼續(xù)使基礎(chǔ) AI 技術(shù)對(duì)所有人可用。StableLM 模型可以生成文本和代碼，并為一系列下游應(yīng)用提供支持。它們展示了小而高效的模型如何在適當(dāng)?shù)挠?xùn)練下提供高性能。（了解更多《StableLM 開(kāi)源: Stability AI 發(fā)布可商用語(yǔ)言模型！》）
LangChain
官網(wǎng)：Langchain[97]
GitHub：wchase17/langchain[98]
大型語(yǔ)言模型 (LLM) 正在成為一種變革性技術(shù)，LangChain 使開(kāi)發(fā)人員能夠構(gòu)建他們以前無(wú)法構(gòu)建的應(yīng)用程序。然而，單獨(dú)使用這些 LLM 往往不足以創(chuàng)建一個(gè)真正強(qiáng)大的應(yīng)用程序——當(dāng)你可以將它們與其他計(jì)算或知識(shí)來(lái)源相結(jié)合時(shí)，真正的力量就來(lái)了。
本機(jī)運(yùn)行
運(yùn)行 LLaMA
在軟件工程方面的發(fā)展同樣令人矚目。目前，在個(gè)人電腦上運(yùn)行 LLaMA 模型有兩種方式：
文本終端
llama.cpp[99]：主要目標(biāo)是在 MacBook 上使用 4 位整數(shù)量化運(yùn)行 LLaMA 模型
圖形界面
nat/openplayground[100]：LLM 游樂(lè)場(chǎng)，支持來(lái)自 OpenAI、Anthropic、Cohere、Forefront、HuggingFace、Aleph Alpha 和 llama.cpp 的任何模型。
oobabooga/text-generation-webui[101]：用于運(yùn)行 LLaMA、llama.cpp、GPT-J、Pythia、OPT 和 GALACTICA 等大型語(yǔ)言模型的 gradio web UI。
nsarrazin/serge[102]：基于 llama.cpp 的聊天界面，用于運(yùn)行 Alpaca 模型。完全自托管，不需要 API 密鑰。適合 4GB RAM 并在 CPU 上運(yùn)行。
llama.cpp
llama.cpp 是用 C++ 編寫(xiě)的，其目標(biāo)是在 Macbook 上運(yùn)行 LLaMA 模型。它針對(duì) Apple Silicon M1/M2[103] 進(jìn)行了優(yōu)化。
支持 4 位整數(shù)量化，以減少 LLaMA 模型所需的資源。量化模型可以減少存儲(chǔ)和 RAM 使用量，但會(huì)略微降低質(zhì)量。一個(gè) 7B 模型最初需要 13GB 的磁盤(pán)空間和 RAM 才能加載。經(jīng)過(guò) 4 位量化后，只需要約 4GB。
然而，它只支持在文本終端中使用。你也可以使用 nat/openplayground 或 oobabooga/text-generation-webui 作為 llama.cpp 的 GUI。
4 位整數(shù)量化（4-bit integer quantization）:
是一種將神經(jīng)網(wǎng)絡(luò)參數(shù)從浮點(diǎn)數(shù)轉(zhuǎn)換為整數(shù)的技術(shù)，旨在減少模型存儲(chǔ)和內(nèi)存占用的大小，以便在移動(dòng)設(shè)備等資源受限的環(huán)境中使用。
在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，每個(gè)參數(shù)都是一個(gè)浮點(diǎn)數(shù)，通常需要 4 個(gè)字節(jié)存儲(chǔ)。但是，在 4-bit 整數(shù)量化中，每個(gè)參數(shù)被近似為一個(gè)整數(shù)，只需要 1 個(gè)字節(jié)存儲(chǔ)。雖然這樣會(huì)犧牲一些模型精度，但由于整數(shù)計(jì)算通常比浮點(diǎn)數(shù)計(jì)算快，因此它可以加速神經(jīng)網(wǎng)絡(luò)的計(jì)算速度。
4-bit 整數(shù)量化通常是在訓(xùn)練后應(yīng)用的，使用一些技術(shù)來(lái)最小化精度損失，例如權(quán)重裁剪和量化感知訓(xùn)練。
nat/openplayground
使用來(lái)自 OpenAI、Anthropic、Cohere、Forefront、HuggingFace、Aleph Alpha 和 llama.cpp 的任何模型
完整的 playground UI，包括歷史記錄、參數(shù)調(diào)整、鍵盤(pán)快捷鍵和 logprops
使用相同的提示并排比較模型，單獨(dú)調(diào)整模型參數(shù)，然后使用不同的參數(shù)重試
自動(dòng)檢測(cè) HuggingFace 緩存中的本地模型，并允許你安裝新模型
在手機(jī)上運(yùn)行
...
oobabooga/text-generation-webui
用于在模型之間切換的下拉菜單
類(lèi)似于 OpenAI 游樂(lè)場(chǎng)的筆記本模式
對(duì)話和角色扮演的聊天模式
指令模式兼容 Alpaca、Vicuna、Open Assistant、Dolly、Koala 和 ChatGLM 格式
顯示優(yōu)化：HTML，Markdown，LaTeX 等
...
nsarrazin/serge
你的自助式私人助理。沒(méi)有遠(yuǎn)程 API，沒(méi)有數(shù)據(jù)收集，沒(méi)有廣告。
WebLLM
WebLLM[104] 將大型語(yǔ)言模型和聊天引入網(wǎng)絡(luò)瀏覽器。一切都在瀏覽器內(nèi)運(yùn)行，無(wú)需服務(wù)器支持，并使用 WebGPU 加速。這開(kāi)辟了許多有趣的機(jī)會(huì)，可以為每個(gè)人構(gòu)建 AI 助手，并在享受 GPU 加速的同時(shí)實(shí)現(xiàn)隱私。
Web Stable Diffusion
Web Stable Diffusion[105] 為網(wǎng)絡(luò)瀏覽器帶來(lái) Stable Diffusion 模型。一切都在瀏覽器內(nèi)運(yùn)行，無(wú)需服務(wù)器支持。據(jù)項(xiàng)目作者稱(chēng)，這是世界上第一個(gè)完全在瀏覽器上運(yùn)行的 Stable Diffusion。
圖像生態(tài)
Stable Diffusion
論文：High-Resolution Image Synthesis with Latent Diffusion Models[106]
GitHub：Latent Diffusion Models[107]
可視化界面：AUTOMATIC1111/stable-diffusion-webui[108]
Stable Diffusion[109]（穩(wěn)定擴(kuò)散）是一個(gè)潛在的文本到圖像擴(kuò)散模型。Stability AI[110] 和 Runway[111] 的合作，Stable Diffusion 得以實(shí)現(xiàn)。得益于 Stability AI 的慷慨計(jì)算機(jī)捐贈(zèng)和 LAION[112] 的支持，Stable Diffusion 在 LAION-5B[113] 數(shù)據(jù)庫(kù)的一個(gè)子集上訓(xùn)練了一個(gè) 512x512 圖像的潛在擴(kuò)散模型。類(lèi)似于 Google 的 Imagen[114]，該模型使用一個(gè)凍結(jié)的 CLIP ViT-L/14 文本編碼器來(lái)對(duì)模型進(jìn)行文本提示的調(diào)節(jié)。該模型具有 860M UNet 和 123M 文本編碼器，相對(duì)較輕，可以在至少擁有 10GB VRAM 的 GPU 上運(yùn)行。（了解更多《Stable Diffusion 入門(mén)》）
Segment Anything
論文：Segment Anything[115]
Blog：Introducing Segment Anything: Working toward the first foundation model for image segmentation[116]
GitHub：facebookresearch/segment-anything[117]
官網(wǎng)：Segment Anything (Research by Meta AI)[118]
數(shù)據(jù)集：Segment Anything Dataset[119]
“Segment Anything Model”（SAM）可以從點(diǎn)或框等輸入提示生成高質(zhì)量的對(duì)象蒙版，可用于為圖像中的所有對(duì)象生成蒙版。它已經(jīng)在包含 1.1 億個(gè)蒙版的 1100 萬(wàn)個(gè)圖像數(shù)據(jù)集上進(jìn)行了訓(xùn)練，并在各種分割任務(wù)上具有強(qiáng)大的零樣本性能。
References[1]
Image Creator: https://www.bing.com/images/create[2]
GPT-3: https://github.com/openai/gpt-3[3]
ChatGPT 發(fā)布: https://openai.com/blog/chatgpt[4]
Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry': https://www.wired.com/story/blake-lemoine-google-lamda-ai-bigotry[5]
LLM BLOOM: https://bigscience.huggingface.co/blog/bloom[6]
ChatGPT Plus: https://openai.com/blog/chatgpt-plus[7]
ChatGPT 和 Whisper API: https://openai.com/blog/introducing-chatgpt-and-whisper-apis[8]
ChatGPT 插件: https://openai.com/blog/chatgpt-plugins[9]
GPT-4: https://openai.com/product/gpt-4[10]
BLOOM: https://huggingface.co/bigscience/bloom[11]
GitHub Copilot X: https://github.com/features/preview/copilot-x[12]
Google Bard: https://bard.google.com[13]
Adobe Firefly: https://firefly.adobe.com[14]
DeepSpeed: https://github.com/microsoft/DeepSpeed[15]
MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models: https://arxiv.org/abs/2304.10592[16]
Plug-and-Play VQA: Zero-shot VQA by Conjoining Large Pretrained Models with Zero Training: https://arxiv.org/abs/2210.08773[17]
Flamingo: a Visual Language Model for Few-Shot Learning: https://arxiv.org/abs/2204.14198[18]
Vision-CAIR/MiniGPT-4: https://github.com/Vision-CAIR/MiniGPT-4[19]
Vision-CAIR/MiniGPT-4: https://huggingface.co/Vision-CAIR/MiniGPT-4[20]
Vision-CAIR/cc_sbu_align: https://huggingface.co/datasets/Vision-CAIR/cc_sbu_align[21]
Minigpt-4: https://minigpt-4.github.io[22]
Q-Former: https://github.com/ViTAE-Transformer/QFormer[23]
minGPT: https://github.com/karpathy/minGPT[24]
GPT: https://github.com/openai/gpt-2[25]
mingpt/model.py: https://github.com/karpathy/minGPT/blob/master/mingpt/model.py[26]
Transformer: https://arxiv.org/abs/1706.03762[27]
nanoGPT: https://github.com/karpathy/nanoGPT[28]
GPT4Free: https://github.com/xtekky/gpt4free[29]
Auto-GPT: https://github.com/Significant-Gravitas/Auto-GPT[30]
AgentGPT: https://github.com/reworkd/AgentGPT[31]
AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head: https://arxiv.org/abs/2304.12995[32]
AIGC-Audio/AudioGPT: https://github.com/AIGC-Audio/AudioGPT[33]
AudioGPT Demo: https://huggingface.co/spaces/AIGC-Audio/AudioGPT[34]
DocsGPT: https://github.com/arc53/DocsGPT[35]
acheong08/ChatGPT: https://github.com/acheong08/ChatGPT[36]
acheong08/EdgeGPT: https://github.com/acheong08/EdgeGPT[37]
A brief history of LLaMA models: https://agi-sphere.com/llama-models[38]
LLaMA: Open and Efficient Foundation Language Models: https://arxiv.org/abs/2302.13971[39]
Introducing LLaMA: A foundational, 65-billion-parameter large language model: https://ai.facebook.com/blog/large-language-model-llama-meta-ai[40]
facebookresearch/LLaMA: https://github.com/facebookresearch/llama[41]
Google 表單申請(qǐng): https://docs.google.com/forms/d/e/1FAIpQLSfqNECQnMkycAp2jP4Z9TFX0cGR4uf7b_fBxjY_OjhJILlKGA/viewform[42]
Facebook LLAMA is being openly distributed via torrents: https://news.ycombinator.com/item?id=35007978[43]
qBittorrent: https://www.qbittorrent.org[44]
uTorrent: https://www.utorrent.com[45]
NVIDIA 3090: https://www.nvidia.com/en-us/geforce/graphics-cards/30-series/rtx-3090-3090ti[46]
Transformer: A Novel Neural Network Architecture for Language Understanding: https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html[47]
CommonCrawl: https://commoncrawl.org[48]
C4: https://huggingface.co/datasets/c4[49]
SentencePiece: https://github.com/google/sentencepiece[50]
Google BigQuery: https://cloud.google.com/bigquery[51]
LLaMA: Open and Efficient Foundation Language Models: https://arxiv.org/abs/2302.13971v1[52]
Self-Instruct: Aligning Language Model with Self Generated Instructions: https://arxiv.org/abs/2212.10560[53]
Alpaca: A Strong, Replicable Instruction-Following Model: https://crfm.stanford.edu/2023/03/13/alpaca.html[54]
tatsu-lab/stanford_alpaca: https://github.com/tatsu-lab/stanford_alpaca[55]
Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90% ChatGPT Quality:* https://vicuna.lmsys.org[56]
lm-sys/FastChat: https://github.com/lm-sys/FastChat[57]
Chat with Open Large Language Models: https://chat.lmsys.org[58]
ShareGPT.com: https://sharegpt.com[59]
Bard: https://blog.google/technology/ai/bard-google-ai-search-updates[60]
Koala: A Dialogue Model for Academic Research: https://bair.berkeley.edu/blog/2023/04/03/koala[61]
young-geng/EasyLM: https://github.com/young-geng/EasyLM[62]
HC3 英語(yǔ)數(shù)據(jù)集: (https://arxiv.org/abs/2301.07597)[63]
Open Instruction Generalist: https://laion.ai/blog/oig-dataset[64]
Anthropic HH 數(shù)據(jù)集: https://huggingface.co/datasets/Anthropic/hh-rlhf[65]
OpenAI WebGPT 數(shù)據(jù)集: https://huggingface.co/datasets/openai/webgpt_comparisons[66]
OpenAI 摘要數(shù)據(jù)集: https://huggingface.co/datasets/openai/summarize_from_feedback[67]
chavinlo/gpt4-x-alpaca: https://huggingface.co/chavinlo/gpt4-x-alpaca[68]
GPTeacher: https://github.com/teknium1/GPTeacher[69]
AI Showdown: GPT-4-x-Alpaca vs. Vicuna, GPT-4 as the judge (test in comments): https://www.reddit.com/r/LocalLLaMA/comments/12lksqo/ai_showdown_gpt4xalpaca_vs_vicuna_gpt4_as_the[70]
New model: gpt4-x-alpaca-13b-native-4bit-128g !!: https://github.com/oobabooga/text-generation-webui/discussions/727[71]
WizardLM: Empowering Large Language Models to Follow Complex Instructions: https://arxiv.org/abs/2304.12244[72]
nlpxucan/WizardLM: https://github.com/nlpxucan/WizardLM[73]
Evol-Instruct: https://github.com/nlpxucan/evol-instruct[74]
Open Assistant: https://open-assistant.io[75]
OpenAssistant Conversations -- Democratizing Large Language Model Alignment: https://arxiv.org/abs/2304.07327[76]
LAION-AI/Open-Assistant: https://github.com/LAION-AI/Open-Assistant[77]
OpenAssistant LLaMa 30B SFT 6: https://huggingface.co/OpenAssistant/oasst-sft-6-llama-30b-xor[78]
OpenAssistant RELEASED! The world's best open-source Chat AI!: https://youtu.be/ddG2fM9i4Kk[79]
Large Language Model Chat API: https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming[80]
Lightning-AI/lit-llama: https://github.com/Lightning-AI/lit-llama[81]
Apache 2.0 開(kāi)源許可證: https://www.apache.org/licenses/LICENSE-2.0[82]
GPL 許可證: https://www.gnu.org/licenses/gpl-3.0.html[83]
Hello Dolly: Democratizing the magic of ChatGPT with open models: https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.html[84]
databrickslabs/dolly: https://github.com/databrickslabs/dolly[85]
EleutherAI/gpt-j-6b: https://huggingface.co/EleutherAI/gpt-j-6b[86]
databricks/dolly-v2-12b: https://huggingface.co/databricks/dolly-v2-12b[87]
EleutherAI: https://www.eleuther.ai[88]
pythia-12b: https://huggingface.co/EleutherAI/pythia-12b[89]
Hello Dolly: Democratizing the magic of ChatGPT with open models: https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.html[90]
RedPajama, a project to create leading open-source models, starts by reproducing LLaMA training dataset of over 1.2 trillion tokens: https://www.together.xyz/blog/redpajama[91]
togethercomputer/RedPajama-Data: https://github.com/togethercomputer/RedPajama-Data[92]
ChatLLaMa: https://github.com/nebuly-ai/nebuly/tree/main/optimization/chatllama[93]
Stability AI Launches the First of its StableLM Suite of Language Models: https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models[94]
stability-AI/stableLM: https://github.com/stability-AI/stableLM[95]
StableVicuna-13B: https://huggingface.co/lmsys/vicuna-13b-delta-v1.1[96]
StableLM-Tuned-Alpha-7b Chat: https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat[97]
Langchain: https://blog.langchain.dev[98]
wchase17/langchain: https://github.com/hwchase17/langchain[99]
llama.cpp: https://github.com/ggerganov/llama.cpp[100]
nat/openplayground: https://github.com/nat/openplayground[101]
oobabooga/text-generation-webui: https://github.com/oobabooga/text-generation-webui[102]
nsarrazin/serge: https://github.com/nsarrazin/serge[103]
Apple Silicon M1/M2: https://www.apple.com/newsroom/2022/06/apple-unveils-m2-with-breakthrough-performance-and-capabilities[104]
WebLLM: https://github.com/mlc-ai/web-llm[105]
Web Stable Diffusion: https://github.com/mlc-ai/web-stable-diffusion[106]
High-Resolution Image Synthesis with Latent Diffusion Models: https://arxiv.org/abs/2112.10752[107]
Latent Diffusion Models: https://github.com/CompVis/latent-diffusion[108]
AUTOMATIC1111/stable-diffusion-webui: https://github.com/AUTOMATIC1111/stable-diffusion-webui[109]
Stable Diffusion: https://github.com/CompVis/stable-diffusion[110]
Stability AI: https://stability.ai[111]
Runway: https://runwayml.com[112]
LAION: https://laion.ai[113]
LAION-5B: https://laion.ai/blog/laion-5b[114]
Imagen: https://arxiv.org/abs/2205.11487[115]
Segment Anything: https://arxiv.org/abs/2304.02643[116]
Introducing Segment Anything: Working toward the first foundation model for image segmentation: https://ai.facebook.com/blog/segment-anything-foundation-model-image-segmentation[117]
facebookresearch/segment-anything: https://github.com/facebookresearch/segment-anything[118]
Segment Anything (Research by Meta AI): https://segment-anything.com[119]
Segment Anything Dataset: https://segment-anything.com/dataset/index.html
聯(lián)系客服
