本文來自微信公眾號：M小姐研習錄 （ID：MissMstudy），作者：課代表立正，題圖來自：《鋼鐵俠3》
關(guān)于AI，ChatGPT 的文章鋪天蓋地，但是真正討論得深度有內(nèi)容永遠稀缺。這次是M小姐第一次正式約稿，來自數(shù)據(jù)科學大牛，也是B站上小有名氣的Up主：課代表立正。（作者還將更新迭代本文，詳情請戳：騰訊文檔）
一項新的技術(shù)開始，總會有太多或高或低的噪音，對于要做決策的人，常常會覺得抓不住重點，真假難辨。這篇文章，是M小姐看過的關(guān)于大語言模型（LLM）最為直擊本質(zhì)的分析之一。其中的思考框架，可以指導你一直follow整個領(lǐng)域日新月異的發(fā)展，讓你從爆炸又良莠不齊的信息中抽絲剝繭，找到做出對個人和企業(yè)最有價值的決策思路。
以下就是正文，enjoy：
我們判斷，如果ChatGPT不犯大錯，兩年內(nèi)，整個科技行業(yè)甚至人類社會都會被顛覆一遍。倒計時已經(jīng)開始了。
在ChatGPT紀元中，提問題的能力和判斷力也許是人類最重要的兩個能力。我們這里提出五個關(guān)鍵問題，并且試圖拋開網(wǎng)絡(luò)上的二手觀點，做出基于原理的判斷。圍繞這五個問題，我們會把所需要知道的相關(guān)技術(shù)背景，盡量簡潔，但是盡量無損地總結(jié)清楚，不說廢話。
哪五個問題？
是什么：ChatGPT是范式突破，還是過往AI的延伸？
會怎樣：ChatGPT兩年內(nèi)會達到什么水準？
行業(yè)格局：ChatGPT以及GPT有壁壘嗎？
如何參與：我們未來應(yīng)該如何使用ChatGPT？
人文：人類和ChatGPT的本質(zhì)區(qū)別是什么？對人類社會的沖擊有多大？
還有一個不需要討論的重要問題：ChatGPT不會開源的，因為AGI是一個危險品。依賴開源+抄的公司可以死心了。指望原子彈開源嗎？
我們搞清楚這五個問題，就能判斷市面上大多數(shù)解讀ChatGPT的觀點，無論從技術(shù)、商業(yè)、投資，等等角度，是否靠譜了。其實就兩個關(guān)鍵：
對ChatGPT新能力的認知：這新能match力到底是什么，有多大“不一樣”？那個“不一樣”能帶來多少新的可能性？
對“能力獲取難度”的認知：ChatGPT如何獲得的？別人獲取類似能力，難度有多大？
文章結(jié)尾我們會做一下總結(jié)。讓你下次見到某大模型，可以判斷這是ChatGPT的80%還是0%。也可以判斷自己的工作會被ChatGPT取代多少。
為什么這樣問？
最近到處都在討論ChatGPT，宛如6000點時候的A股，但是對于ChatGPT這樣一個人類高科技結(jié)晶的新物種，不先搞清楚它“是什么”和“如何牛逼的”，那就沒有辦法形成自己的判斷。沒有自己基于原理的判斷，看ChatGPT就像看元宇宙、Web3、自動駕駛一樣，覺得好像牛逼，也有一套看似自洽的邏輯，以及振聾發(fā)聵的“洞見”，其實只能被別人牽著走。
搞清楚ChatGPT“是什么”和“如何牛逼的”是一件困難的事情，因為最頂尖的人工智能大佬們也沒有達成共識。
比如Meta的AI負責人，深度學習三大佬之一的LeCun就不看好，認為這就是個基于auto-regressive（自回歸）的LLM（large language model，大語言模型），從方法上來講沒有啥范式突破。只是因為OpenAI是個創(chuàng)業(yè)公司，大家寬容度比較高，ChatGPT在亂說話，大家也能容忍。
另一面，ChatGPT的火熱就不說了，比如特斯拉的首席AI科學家就選擇回到OpenAI，共建AGI（artificial general intelligence，通用人工智能，也是OpenAI的追求目標）；Meta的VR創(chuàng)始人卡馬克選擇離開Meta，自己開一家AGI公司。另外一篇文章截取了大佬們的贊譽：
神奇的點就在于，雙方也許都是對的。ChatGPT的確不是一個“新的模型”，而是即有模型的發(fā)展與組合；但ChatGPT又足夠不一樣，讓包括我在內(nèi)的很多AI相關(guān)的從業(yè)者，有第一次見到光的感覺。我們第一章會花大篇幅去講一下為什么ChatGPT的原理是填詞，但它的新能力卻遠遠不是“填詞”而已。
技術(shù)插播：“自回歸”“大語言模型”是兩個關(guān)鍵詞。
自回歸的意思是，我先用模型預(yù)測下一個詞是什么，然后把預(yù)測出來的詞帶入模型，去預(yù)測再下一個詞是什么，不斷迭代。這是過往語言模型的通用范式。也能讓各類語言類任務(wù)統(tǒng)一成“生成式”任務(wù)。
語言模型的大是指海量參數(shù)，從而能吸取海量數(shù)據(jù)中的信息。這是在transformer模型之后成為可能的。大語言模型本身也值得技術(shù)科普一下，我們在第一個問題中展開。
一、開頭：ChatGPT的最基本版歷史
開始問問題之前，有一些必要的技術(shù)科普。我們著重參考兩篇綜述，盡量抓重點：
大語言模型技術(shù)精要 知乎，by 張俊林
ChatGPT的各項超能力從哪里來 by 符堯
第一份綜述主要講了大語言模型發(fā)展中的關(guān)鍵技術(shù)突破，第二份綜述主要講了ChatGPT發(fā)展過程中的幾個重要模型“做到了什么”和“有什么與眾不同的做法”。我們把兩篇文章的重點挑出來，標注一下里程碑事件，和其意義。
這里面再強調(diào)一個關(guān)鍵點。GPT3之后，很多能力是“涌現(xiàn)”的。即不是線性發(fā)展，可預(yù)測的，而是突然就有了。至于這對于OpenAI的人是早晚會發(fā)生，還是完全未預(yù)料，我們就不知道了。
這幾個“涌現(xiàn)”出的能力，尤其是“烏鴉”的能力，是ChatGPT和過往AI的范式不同，也會是我們這次討論關(guān)注的重點。“涌現(xiàn)”也是大語言模型很神奇的一點，這些能力我們發(fā)現(xiàn)模型隨著數(shù)據(jù)量和模型大小的提升，就突然具備了，但是我們對這些能力怎么出現(xiàn)的，只有猜想，沒有共識。這篇文章有一個比較全面的總結(jié)和比較。
下圖是GPT-3到ChatGPT的演變歷史：
1. 如何分辨真假ChatGPT
結(jié)合上面的圖和表格，我們簡單梳理一下：
1. GPT-3是一個非常令人驚艷的LLM，這個兩年半前的播客有當時early-adopter的視角，但GPT-3還勉強屬于“量變”，到現(xiàn)在，也不是最厲害的LLM。
2. GPT-3.5通過InstructGPT的模式 + 閱讀代碼，涌現(xiàn)了“烏鴉”能力，產(chǎn)生了質(zhì)變。但是還沒找到合適的應(yīng)用界面，也不符合人類喜好。
3. ChatGPT在RLHF的幫助下，找到了GPT-3.5和人類自然語言的合理接口，解鎖了模型應(yīng)用的前景。
所以我們要記得，厲害的模型是GPT-3.5，厲害的應(yīng)用方式是ChatGPT。應(yīng)用方式相對很容易復(fù)制，RLHF有難度但也不太難，真正難的是“烏鴉”能力的復(fù)現(xiàn)。如果我們要關(guān)注能不能做出來ChatGPT，要關(guān)注的是各家LLM離GPT-3.5的“烏鴉”能力有多遠，在一個沒有烏鴉能力的LLM上套一個ChatGPT的應(yīng)用方式，只是東施效顰，但估計也是國內(nèi)各個公司會普遍采用的方法。
這里說“應(yīng)用方式相對容易復(fù)制”，但是不意味著這個應(yīng)用方式不夠顛覆。iPhone出現(xiàn)時，很多人也只是覺得沒有什么顛覆技術(shù)，只是個不錯的集成方案。但那些人沒看到的是，iPhone是第一個“為了適應(yīng)人而設(shè)計的智能手機”而非“為了解決問題而設(shè)計的智能手機”。iPhone的交互方式和各種傳感器，讓iPhone慢慢變成了人類的身體的一部分，一個帶來更多信息，高效交互的器官。
ChatGPT已經(jīng)接近人類調(diào)用算力和數(shù)據(jù)的最終極形態(tài)了，其應(yīng)用方式本身當然是足夠厲害的。我們在第二問，ChatGPT會取代哪些工作里，詳細展開。
這里也牽涉到了一個重要的題外話，我們在討論中發(fā)現(xiàn)，很多資深A(yù)I從業(yè)者，如果不去深究LLM的細節(jié)，而是用過往經(jīng)驗猜想ChatGPT的能力來源時，會產(chǎn)生嚴重的錯誤理解。我們總結(jié)了一下，發(fā)現(xiàn)這誤解大概是發(fā)生在in-context learning和instruct這一模式，和過往模型調(diào)教有什么區(qū)別上。尤其是對“fine-tuning”這個詞的理解上。這里就單獨展開一下。
2. AI從業(yè)者為什么對ChatGPT有錯誤理解？
過往的NLP模型是按照具體任務(wù)和具體數(shù)據(jù)來訓練的。所以數(shù)據(jù)質(zhì)量越好，模型效果越好。而且最好只有正確數(shù)據(jù)，沒有錯誤數(shù)據(jù)。
大語言模型有一個重要不同，是“數(shù)據(jù)越多”越好，而數(shù)據(jù)質(zhì)量變成了重要，但稍顯次要因素。
在一開始，大模型想要在特定任務(wù)上取得較好效果，也需要那個領(lǐng)域的具體數(shù)據(jù)去“fine-tune”一下。通過大量的例子，先教給模型，那個領(lǐng)域中什么是好，什么是壞，調(diào)節(jié)一下模型的權(quán)重，從而輸出恰當?shù)慕Y(jié)果。
這和過往模型的范式是差不多的。這樣的應(yīng)用明顯非常有局限。每做一些新的事情，或者數(shù)據(jù)分布有明顯變化，都要重新訓練一遍模型。而新事情和新數(shù)據(jù)無窮無盡，模型就只能刷新。但是模型的刷新也可能導致過去做得好的事情突然做不好了，進一步限制了應(yīng)用。
而GPT-3涌現(xiàn)出的in-context learning能力（現(xiàn)在其他大模型也有，比如Google的PaLM，同時不確定GPT-3是第一個涌現(xiàn)的，希望得到指正）和上述范式有本質(zhì)不同，“過往的fine-tuning”需要更改模型參數(shù)，也就是說，換了個新模型。但是in-context learning，模型并沒有變化，卻能在新數(shù)據(jù)上表現(xiàn)更好。研究甚至發(fā)現(xiàn)，你給大模型一堆范例，只要對應(yīng)關(guān)系整體是對的，這時候改變具體對應(yīng)的順序，大模型仍然能輸出正確的結(jié)果。這真的很神奇。
再重新強調(diào)一遍，模型沒有變化，沒有被重新訓練，但是能“理解”新數(shù)據(jù)，并且表現(xiàn)更好！
接下來還有更神奇的。在GPT-Codex版本解鎖了推理能力，以及InstructGPT提出了instruct這一方法，他們合體的ChatGPT在in-context learning的基礎(chǔ)之上，展示出了具備理解、推理、演繹能力的樣子。我們在下一章詳細展開。節(jié)省篇幅，雖然能力是在GPT-3.5上涌現(xiàn)的，我們接下來都說ChatGPT了。
3. ChatGPT是范式突破嗎？
機器學習發(fā)展了這么多年，遵循同一個范式。哪怕2016年大火的AlphaGo，也完全沒有脫離這個范式 -- 鸚鵡學舌。
過往機器學習的范式——鸚鵡學舌
機器學習，包括深度學習，所遵循的范式是“data fitting”，即找到數(shù)據(jù)中的“對應(yīng)關(guān)系”并應(yīng)用。具體來說，就是Y=f(X)，給定一些優(yōu)化目標，機器學習尋找X和Y的對應(yīng)關(guān)系，來優(yōu)化一個特定的方程。對應(yīng)關(guān)系找得好，讓我們在見到一個未知的X'的時候，也能根據(jù)規(guī)律，總結(jié)出Y'是什么，能最好達到設(shè)定的目標。
從信息論的角度，這樣的范式，所能總結(jié)的規(guī)律，應(yīng)該是在“已有X所包含信息的范疇之內(nèi)”。換句話說，遇到一個新的X，雖然沒見過，但是應(yīng)該和過去的X長得差不多。用圖像識別舉例，如果模型只在小狗小貓的數(shù)據(jù)上訓練過，是無法區(qū)分馬車和汽車的。
這就很像鸚鵡學舌的機制。鸚鵡是不知道那段話的意義的，它用自己的方式去理解了這個發(fā)音，并且模仿了出來。計算機能更加精準地進行控制和編程，配合其他模塊能力，就能讓“尋找對應(yīng)關(guān)系”這個能力，發(fā)揮更大作用，比如：
圖像識別 + 搜索，就能高效找人
Matrix completion + 用戶數(shù)據(jù)收集，就能高效推薦
把游戲規(guī)則恰當轉(zhuǎn)化為優(yōu)化方程 + 問題的局部抽象 + 自己生成對局訓練，就能下圍棋
舉例：推薦算法的原理
想象一個矩陣，橫著是不同的人，豎著是不同的短視頻，格子里是這個人對這個短視頻的興趣指數(shù)，我們要想方設(shè)法填滿這個格子，給每個人推薦最感興趣的短視頻。
核心問題是在每個人都沒看過99.9999999%短視頻的情況下，這題怎么解。
有很多種方式，傳統(tǒng)的運營、策略，也是一些方式?，F(xiàn)有算法的主要做法是
1. 把每個視頻抽象成特征
2. 把每個人抽象成特征
3. 通過特征對特征的方式進行泛化和填表，如果用人來理解的角度，可能是
中年男人喜歡看釣魚（內(nèi)容+畫像推薦）
你同事們喜歡看老板點贊過的視頻（關(guān)系鏈）
看過AB的人喜歡看C（collaborative filtering）
但是記得，模型抽象出來的特征是適合機器理解，而不是適合人類理解的。用人類能描述的方式去描述機器的優(yōu)化，注定是降低效率的。
由此可見。過往AI應(yīng)用的拓展主要是來自幾點：
高質(zhì)量的數(shù)據(jù)，模型的發(fā)展，算力的提升，讓模型越來越準、快、和發(fā)現(xiàn)更多更深的“對應(yīng)關(guān)系”，能進行更好的優(yōu)化
更好地把商業(yè)問題轉(zhuǎn)化為優(yōu)化問題
和其他能力的深度結(jié)合
但是這些都是基于“鸚鵡學舌”這一范式的。過往的NLP（natural language processing，自然語言處理）就是一個很好的例子。
發(fā)展了那么多年，語音助手能根據(jù)指令來達成一些目標，但是從來都沒有真的“懂”那些指令。過往的NLP只能做“填表”，必須背后有一個人設(shè)定好具體的任務(wù)，規(guī)劃好如何把語音或者文字形成固定的function，該function如何調(diào)用相應(yīng)的能力。如果沒有人提前規(guī)劃，那模型就無法實現(xiàn)。
這篇文章總結(jié)的非常好，這里就不贅述了。
亞馬遜Alexa的思路和大多數(shù)商業(yè)語音助手的思路就是招一群程序員來寫if then，高情商說法是針對具體使用場景做深度優(yōu)化。（這里有總結(jié)）
谷歌的思路是用一個大模型做底座，一堆小模型做輸入，另一堆小模型做輸出。這條路也遇到明顯瓶頸
歸根結(jié)底，離開了“懂”的能力，鸚鵡的設(shè)計師，是很難窮盡世界上所有的語言應(yīng)用組合的。說這么多，是為了告訴大家，“懂”這件事，是過往AI夢寐以求都想突破的瓶頸。
“懂”字，如果深究的話，會發(fā)現(xiàn)大家對它的定義其實存在很大分歧。我如果讓狗狗伸手，狗狗伸手了，是“懂”嗎？過去NLP的懂和ChatGPT的懂，又有什么區(qū)別呢？同樣的問題存在其他詞匯中，比如理解、推理、演繹、創(chuàng)新，等等。所以想要真的抓住ChatGPT新能力的本質(zhì)，描述就要更加精確和具體。
正好，華人最厲害的AI學者之一，朱松純教授，在2017年有一篇思考人工智能和智能本質(zhì)的文章，開篇所舉的例子，就非常深刻、精確、具體地抓到了這一本質(zhì)。我這里復(fù)述一下。這篇文章80%的價值，可能就在這一個例子上。
ChatGPT可能的新范式——烏鴉
下面是原文，介紹了烏鴉是如何“感知、認知、推理、學習、和執(zhí)行”的：
總結(jié)一下，城市中的烏鴉通過觀察，自主串通了：
汽車能壓碎堅果
紅綠燈能控制汽車
車能撞死我
這三件事情，從而利用紅綠燈和汽車，來幫自己達到“安全打開堅果”這一任務(wù)結(jié)果。
如果類比成機器學習模型，過往“鸚鵡學舌”范式的解法，是要求所有烏鴉可以共享一個大腦，它們有很清晰的優(yōu)化目標，即“保住性命的前提下打開堅果”。它們的方式是，隨機嘗試所有事件的組合，并向著最優(yōu)解的方向不斷演化。
但現(xiàn)實世界的烏鴉無法共享大腦，也不能去冒著死亡風險去嘗試所有可能。烏鴉只有一次機會，把觀測到的兩個現(xiàn)象，產(chǎn)生了一個新的可能性，并應(yīng)用在一個全新的場景下。這里最接近的詞匯可能是“inference”，是“基于證據(jù)和邏輯推演，得到結(jié)論”的過程，有的時候，還要加入很多猜測、抽象、泛化。舉個例子，這篇文章把朱教授對于烏鴉的比喻，跟ChatGPT最本質(zhì)的能力聯(lián)系起來，就是在做inferencing這件事。
但很明顯，inferencing不是烏鴉智能的全部。而且在機器學習領(lǐng)域里，inferencing特指使用訓練好的深度學習模型來預(yù)測新的數(shù)據(jù)這一件事，會產(chǎn)生誤解。其他詞匯也有類似問題，所以我們在自己文章里，會直接使用“烏鴉能力”來指代ChatGPT的新能力。在對外交流時，我們沒辦法每次都把烏鴉能力是什么解釋一遍，所以我們會用“理解”能力來進行指代。
從“烏鴉”到“理解”，當然是一個信息量損失很大的過度概括。但是好處是可以把ChatGPT的本質(zhì)能力凸顯出來。過往互聯(lián)網(wǎng)的兩次能力躍進一次來自于搜索，一次來自于推薦，現(xiàn)在ChatGPT帶來了“理解”，也非常有結(jié)構(gòu)感。
ChatGPT看似擁有烏鴉能力的證據(jù)
之所以說“看似”，是因為我們并不知道烏鴉為什么會有inference的能力，我們也不完全知道LLM為什么會有“達成inference效果”的能力。
我們知道的是，LLM激活inference能力的方式一定與人類和烏鴉不一樣。所以我們不把話說死，只說看似擁有，不確定真的擁有。為了節(jié)省筆墨，我們接下來就不說“看似”了。
是否真的理解真的很難說，但是有這幾點感受很明顯：
ChatGPT擁有in-context correction的能力，即如果說錯了，給出矯正，ChatGPT能“聽懂”錯在哪兒了，并向正確的方向修正。in-context correction要比in-context learning難了太多。
描述越詳細清楚，ChatGPT回答得越好。要知道，越詳細的描述，在預(yù)訓練的文本里越難匹配到。
在詢問ChatGPT互聯(lián)網(wǎng)上并不存在內(nèi)容的時候，能給出較好答案（案例：我用ChatGPT學UE5）。
ChatGPT能通過信息猜你心中的想法（案例：跟ChatGPT玩20 questions）。
你可以制定一個全新的游戲規(guī)則讓ChatGPT和你玩，ChatGPT可以理解。
前兩點是本質(zhì)，后三點是體感。
回過來對比過往NLP模型范式如何能達到類似效果，就能看到ChatGPT的神奇之處。過往模型一定需要針對具體的問題進行具體設(shè)計，而且只要說的話稍稍不夠“結(jié)構(gòu)化”，模型的表現(xiàn)就很難保證，更別提在模型資料庫里，沒有出現(xiàn)過的問題了。
如果認為ChatGPT范式創(chuàng)新的本質(zhì)是烏鴉能力，那就應(yīng)該想辦法像圖靈測試一樣，有辦法去定義和測量這一能力。我們承認，這里的思考和條件還不夠成熟，也許下期再說。
把該說的細節(jié)說清楚，我們現(xiàn)在可以稍負責任地打比方，方便各位老板幫助別人快速了解了。雖然朱教授關(guān)于鸚鵡和烏鴉的比方是最精確的，但畢竟人不是鸚鵡和烏鴉，鸚鵡和烏鴉的能力到底有什么區(qū)別，也需要一番解釋，我們還是打一個“人”的比方。
我們可以繼續(xù)用“鸚鵡”來理解過往的ML，只是這只鸚鵡記憶力和檢索能力都特別強，而且有自己的一套理解事物對應(yīng)關(guān)系的方式，讓你給他看足夠多東西的時候，TA就能找到對應(yīng)關(guān)系。所以你給TA看的東西越多，離你的目標越近，TA的表現(xiàn)越好。問題是TA其實完全聽不懂你在說什么，你沒教的TA也不可能會。
ChatGPT是一個“開竅”之后擁有“理解”能力的人。理解能力帶來了舉一反三的能力，邏輯推演的能力，“知錯”就改的能力。
所以說，我們?nèi)绻萌巳ヮ惐菴hatGPT，問題也不大。提煉對比一下的話：
過往ML：需要“喂”，之后“模仿”，基于的是“對應(yīng)關(guān)系”
ChatGPT：需要“教”，之后“懂”，基于的是“內(nèi)在邏輯”
后者的能力上限和應(yīng)用空間，比起前者豈止百倍。這也是為什么大家如此興奮和焦慮。興奮是因為可能性，焦慮是因為目前只有OpenAI一家做出來了ChatGPT，而且并不開源。
如果ChatGPT如此重要且牛逼，但所有人只能基于ChatGPT做應(yīng)用的話，每個人都要重新考慮自己的商業(yè)模式了。這兩個問題都屬于“猜想未來”，一不小心就會變成科幻小說，我們基于事實和底層理解，用科學的方式去盡量負責任地推演。
二、ChatGPT兩年內(nèi)可能達到的上下限是什么？
通過Prompt催眠ChatGPT，讓它突破OpenAI的政策限制。
比方：
比過去的技術(shù)：過往模型是弓箭，ChatGPT是后膛槍。我們在觀望馬克沁什么時候出現(xiàn)。后膛槍也許一開始打不過弓箭，但是熱兵器遲早會淘汰冷兵器。
人類的作用：ChatGPT是不斷迭代的交通工具。
是需要駕駛員，但是能跑多快，跑多遠，取代多少“人力運輸”，確實也需要道路、司機、交通規(guī)則的配合（產(chǎn)品、商業(yè)模式等），可是纖夫肯定是大規(guī)模淘汰了。
我覺得最準確的“這個機會有多大”的比方就是iPhone。我前面已經(jīng)說了，就像iPhone讓手機變成了人類器官，并且讓互聯(lián)網(wǎng)從桌面走到了身邊一樣；
ChatGPT是終極的調(diào)用算力和數(shù)據(jù)的方式，AGI也能讓AI從有限任務(wù)變成幾乎能取代或協(xié)助人類的所有思考任務(wù)?？赡苓@也是為什么黃仁勛說，This is the iPhone moment of AI。
1. 關(guān)鍵的信息
OpenAI的GPT-4已經(jīng)開發(fā)了三年+，大概率會“效率提升很多”，不確定“涌現(xiàn)哪些新能力”。
確定的是起碼會解決GPT-3.5的一些重要問題，比如更加優(yōu)化的數(shù)據(jù)-參數(shù)比例、更有效率的信息處理與規(guī)律發(fā)覺、更高質(zhì)量的信息輸入，等等。極大概率會比GPT-3.5的效率高很多，inferencing的成本低很多（很可能是百倍提升）。
確定的是模型會有多大（大很多基本確定是謠言），會不會有多模態(tài)（之前確定沒有，現(xiàn)在難說，不然Andrej Karpathy為什么要去呢），但是如果有的話，也是多模態(tài)理解，不太可能有多模態(tài)輸出。更重要的是，知道GPT-4會涌現(xiàn)什么新能力。
多模態(tài)輸入的問題是很難把多模態(tài)信息標準化到文本的token模式，所以現(xiàn)在ChatGPT是個瞎子，對世界的豐富多彩只能靠別人的轉(zhuǎn)述來想象。
ChatGPT現(xiàn)在遇到的很多問題，工程上都有相對簡單的解。
hallucination/說胡話：因為ChatGPT沒有對準確度進行優(yōu)化，也沒有引入搜索數(shù)據(jù)等做矯正（New Bing就不怎么說胡話了）；而且人類也可以參與判斷過程；另外就是先應(yīng)用在自己能判斷好壞的場景下做輔助。
記憶力有限：OpenAI開放（收費）接口就行了，現(xiàn)有解決方法也很神奇，直接告訴ChatGPT，現(xiàn)在告訴你的內(nèi)容只是一部分，聽完了再回答我，就行了。
危險發(fā)言：ChatGPT的自我審查能力不是基于規(guī)則的，而是基于理解的。那其實更加可調(diào)節(jié)。給出尊重基本規(guī)則下，發(fā)言尺度可調(diào)節(jié)的ChatGPT，也是OpenAI公開發(fā)表的愿景。
3. ChatGPT擁有“理解”能力之后，展示了能結(jié)合更多能力的巨大潛力，比如能寫代碼，做分析，做總結(jié)，做營銷方案，并且快速變得更好用。
4. OpenAI內(nèi)部對AGI的安全問題非常重視。
能力是涌現(xiàn)的，意味著人類是不理解的，也自然會有擔心。雖然不太可能出現(xiàn)天網(wǎng)，但是會不會突然就能破解當前的加密算法？這就很難說。
所以O(shè)penAI極大概率是不會開源LLM的。
2. 推演結(jié)論
ChatGPT的成本會直線下降，尤其inference的成本會小兩個以上數(shù)量級。
中文媒體對ChatGPT成本的猜想大多不靠譜，我們只選擇兩條信息源：
Sam在公開場合曾說過ChatGPT的inference成本是每條幾分錢。
Key Takes from ChatGPT and Generative AI.pdf，根據(jù)Jefferies Research的詳細調(diào)研，ChatGPT的inference大概率是使用閑置x86 CPU，而非GPU進行的。
疊加我們對于inference和大語言模型優(yōu)化空間的理解，我們認為inference成本直線下降是極大概率的。成本下降就意味著應(yīng)用范圍以及數(shù)據(jù)收集的能力。ChatGPT哪怕到了十億DAU的水準（現(xiàn)在一億DAU的估算也不靠譜），也是能做到免費的。最多限制一下每天的使用次數(shù)就行了。New Bing一度限制60條，現(xiàn)在也沒了。這些實際使用中的對話無疑會進一步加強ChatGPT的壁壘。
PS：文章寫完后的3月1日，OpenAI開放了ChatGPT的API接口，成本已經(jīng)優(yōu)化了90%，百萬token只需要2.7美元，提煉token能力也大幅優(yōu)化。這只是個開始。
ChatGPT“能力”子模型可能需要重新訓練，但“知識”子模型只需要通過instruct prompting的方式喂知識。
前面說過，過往AI遇到一個新任務(wù)，需要在新任務(wù)的數(shù)據(jù)上重新訓練一個模型。但是InstructGPT范式下，給新知識就夠了，不需要修改pre-trained大模型。很多子任務(wù)，只需要運營ChatGPT的理解能力+知識量，那只要通過對話、引導、教育，不斷調(diào)教，就能讓ChatGPT在子任務(wù)中把新能力應(yīng)用好。
這里最好的比方可能是《鋼鐵俠3》。如果打比方的話，ChatGPT是通用型鎧甲，出廠就能干絕大多數(shù)的活兒。因為具備了理解能力+對話能力，對于絕大多數(shù)的工作，人類應(yīng)該使用“教育”和“引導”的方式，讓ChatGPT去完成工作?？梢韵胂驝hatGPT就像一個知識淵博，見多識廣，態(tài)度良好，也有理解能力的人。有耐心，給足夠的context，就能做到不錯的水平，比如給出醫(yī)療建議、給法律參考、寫代碼框架、做營銷方案、做心理咨詢、充當面試官等等。
如果想對某些方面進行專精，比如犧牲對話能力來提高上下文理解能力，犧牲對話延續(xù)性來提高信息精度，等等，就需要回爐重造，進行調(diào)整。這里可能也會融合一些其他能力模塊，比如搜索（new bing）、和其他模型的接口、工具使用，等等。這就像那些專精型鎧甲。當然，能力+工具能解鎖的可能性是巨大的，就像Hulkbuster。
Prompting的能力會大幅增強，會適度開放，成為個人版ChatGPT。
OpenAI已經(jīng)在這樣做了。
圖/OpenAI
我們預(yù)測會進一步向著這個方向加強。除了是一個明顯的商業(yè)化點，有兩個更重要的意義：
可以讓大家調(diào)教出來“屬于自己的ChatGPT”，這個ChatGPT跟你長時間聊天之后能適配你的喜好，甚至學會你想讓他學會的獨有知識（注意，不是能力，能力只能激活）。
在ChatGPT的閉源模型上，仍然可以讓各個應(yīng)用層發(fā)展出自己的獨有競爭力。從而解決“我只能給OpenAI做UI”的焦慮。
想象如下的場景。你的ChatGPT能記住你跟TA說的所有話，也能不斷從你的反饋中學習。如果你是一個優(yōu)秀的營銷經(jīng)理，假以時日，你的ChatGPT的營銷能力也應(yīng)該吊打其他ChatGPT的營銷能力。
GPT-4會大幅提升ChatGPT的能力，在多數(shù)領(lǐng)域達到“優(yōu)秀員工”的水準。
我們現(xiàn)在明顯是在范式革命的早期，成長曲線將是陡峭的。New Bing和ChatGPT已經(jīng)展現(xiàn)出巨大差異了。我們有足夠多的理由相信，GPT-4在如下幾個方面幾乎“必然”有巨大進步：
模型，大數(shù)據(jù)，更加優(yōu)化的參數(shù)和數(shù)據(jù)比例。參數(shù)越大越好，數(shù)據(jù)越多越好，但是合適的比例才能讓模型充分吸收數(shù)據(jù)知識。這方面優(yōu)化方向很明確。
更有針對性的訓練數(shù)據(jù)集。OpenAI在“造高質(zhì)量大數(shù)據(jù)”上的能力幾乎獨步天下了，而經(jīng)過GPT-3之后的多年摸索，什么數(shù)據(jù)對增強什么能力更有用，即使不清楚，也早就有了體感，肯定可以更好調(diào)整（比如讀更多代碼，多語言的比例等）。
可能的“能力模塊融合”。New Bing以ChatGPT為基座，延伸了搜索能力。那有沒有辦法把搜索能力直接融入到pre-trained大模型里呢？一些工具能力呢？我認為把“搜索能力融入pre-trained大模型里”的方式，和把RLHF融入ChatGPT的方式其實是類似的。所以應(yīng)該可以基于一套pre-trained大模型，去比較高效地融入其他能力。
更加強大的歸納、“理解”能力，看似更好的悟性，結(jié)合更多場景的調(diào)教，我預(yù)測在兩年內(nèi)，基于GPT-4的ChatGPT，配合調(diào)教，在大多數(shù)場合下已經(jīng)能達到9級員工的水平了。詳細會在第四問中展開。
3. ChatGPT的會取代大多數(shù)“搬磚”類工作
“烏鴉”能力到底能帶來什么顛覆性意義呢？意義在于ChatGPT已經(jīng)接近于“人類調(diào)用算力”的究極界面了。從計算機發(fā)展以來，一直在三方面進行發(fā)展：
算力和存儲能力的進步：以摩爾定律為代表。在云之后，更讓個人可以調(diào)用的算力幾乎無上限。
對數(shù)據(jù)的生產(chǎn)、總結(jié)，和使用：比如App上記錄了很多用戶行為，才能做更好的推薦。
“調(diào)用算力與數(shù)據(jù)手段”的抽象與進化：從機器語言、匯編語言、高級語言，到虛擬機（對硬件的抽象）、云服務(wù)（對API的抽象）。
后兩者雖然進步了很多，但是編程仍然是阻止大多數(shù)人調(diào)用算力的門檻。現(xiàn)在，ChatGPT已經(jīng)可以很好地進行編程輔助了。假以時日，我們可以向ChatGPT去直接要一個結(jié)果，而跳過中間的PM - BRD - 開發(fā) - 交付的冗長流程。
我們退一步去思考一下，為什么ChatGPT可以取代這類工作？因為這類工作雖然是“技術(shù)”工種，但是其實“創(chuàng)新”的比重并不高。我們經(jīng)常會用“搬磚”來自嘲自己工作的重復(fù)，這正是問題的關(guān)鍵。如果我們所做的無非是去理解問題，尋找互聯(lián)網(wǎng)上已有答案，把兩者進行對接，那如果ChatGPT能理解問題，歸納答案，自然能比我們干得好。
抽象來看，ChatGPT擁有編程能力，也擁有其他能力。大家需要思考自己工作的本質(zhì)，是在真的做創(chuàng)新，把已有的點鏈接起來之后形成新的點，還是在“搬磚”？如果是后者，真的需要去試用一下ChatGPT，看看自己能不能確定比ChatGPT做得好了。
三、行業(yè)格局：ChatGPT以及GPT有壁壘嗎？
當然有，但是壁壘多高，取決于問題1、2的結(jié)論。我們把幾種情況分列一下：
ChatGPT的“烏鴉”能力不是范式突破，只是錯覺。
ChatGPT的“烏鴉”能力是范式突破，競爭者6個月內(nèi)就能“涌現(xiàn)”。
ChatGPT的“烏鴉”能力是范式突破，競爭者6-24個月才能“涌現(xiàn)”。
ChatGPT的“烏鴉”能力是范式突破，但是競爭者兩年內(nèi)都無法“涌現(xiàn)”。
從實際使用體感來說，情況1基本可以排除了。如果是情況2，那各大互聯(lián)網(wǎng)公司有自己的厲害的大模型只是時間問題，騰訊自己也有機會。就像有自己的云、自己的圖像識別算法等等，雖然有好有壞，但是可以解決有無的問題。
情況2是很有可能的。
畢竟ChatGPT沒有大秘密，OpenAI做得到，別的公司也能做到。甚至很有可能，GPT-3.5所涌現(xiàn)的烏鴉能力，在其他大模型上已經(jīng)具有或者在看到ChatGPT之后，轉(zhuǎn)換方向，很快就能具有。只是現(xiàn)在還沒有成熟的RLHF機制，沒有像ChatGPT那樣顯得很懂你。
但是我們也有理由認真考慮情況3和4的可能性。后面會更詳細展開，因為OpenAI的工程能力很強，而工程能力強到一定程度，是可以形成壁壘的。就像芯片、飛機引擎一樣，不是秘密，但是沒有幾個公司能做出來。如果Google/Meta需要6個月才能復(fù)現(xiàn)ChatGPT“理解”的能力，可以認定其壁壘極高是很高的，尤其是工程難度極大。這個時候其他巨頭想要“追趕”，就很難了。因為ChatGPT的數(shù)據(jù)飛輪優(yōu)勢已經(jīng)幾乎無法撼動。同時，國產(chǎn)ChatGPT基本不太可能了。
1. ChatGPT壁壘的來源
GPT-3是閉源的
OpenAI內(nèi)部對于AGI的態(tài)度是非常審慎的，光從安全這一點考慮，都不可能把ChatGPT開源。所以國產(chǎn)機器學習依賴了十幾年的“開源模型國產(chǎn)實現(xiàn)”路徑，在ChatGPT上是不要指望的。這是一件考驗真功夫的事情。
OpenAI的工程能力是很強的壁壘
這是因為創(chuàng)始人真的懂，真的一直堅持AGI這條路，真的用心吸引到了這方面最好的一批人，形成了超高的人才密度?！霸黾幽Ｐ蛥?shù)”這件事需要工程能力，更難的是“讓大模型有效地學習到大數(shù)據(jù)中的知識”，以及如何調(diào)教模型產(chǎn)出人類需要的輸出，OpenAI自己的blog里都很強調(diào)。這里面的工程積累就可以類比“芯片”和“大飛機引擎”了。
下一步的工程積累必須站在上一步的工程突破上。而且要求過程中參與的工程師們都要有“原理性”思考的習慣。據(jù)打聽來的消息，正是因為OpenAI超高的人才密度，才在互相碰撞中突破了諸多工程瓶頸。這些工程瓶頸到底有多難突破，我們不在其中，很難判斷。我想提醒大家的是不要低估，有點自知之明比較好。
務(wù)實的土壤很難長出OpenAI的能力
比如字節(jié)跳動的推薦算法模型也很大，業(yè)界也很羨慕，工程難度也很高。但是本質(zhì)是面向業(yè)務(wù)目標不斷優(yōu)化的模型，所有都是基于現(xiàn)有模式進行優(yōu)化，是不可能形成范式突破的。在務(wù)實的商業(yè)環(huán)境下，如果不能“一步一印”地為業(yè)務(wù)提供正反饋，整個模型的發(fā)展就很受限。老板能給三個月時間，但是很難在三年還沒有突破的情況下給耐心，就算有耐心，團隊士氣也無法保障。
但是這里確實也要避免矯枉過正。沒有OpenAI，沒有Sam Altman和Ilya Sutskever，再給硅谷十年時間，能不能產(chǎn)生ChatGPT也很難說。所以不要太計較為什么XXX沒有產(chǎn)生ChatGPT，只有OpenAI產(chǎn)生了ChatGPT。
Leadership的技術(shù)判斷力是稀缺資源
New Bing與ChatGPT結(jié)合地這么快，效果又這么好，在創(chuàng)業(yè)歷史上其實是罕見的奇跡。這是喬布斯和馬斯克的段位，遠超市面上其他人。這方面可遇不可求，不是一個可復(fù)制的模式。
來自M小姐的朋友圈
聽說最近百度在國產(chǎn)LLM的卡位很好（其實并沒有），但是讓我猜測一把，Robin在自動駕駛上吃過一次虧，估計很難給LLM足夠的資源與耐心。這就是leadership缺乏技術(shù)判斷力，就無法理解為什么自動駕駛是個空餅，而ChatGPT是真東西的典型例子。
數(shù)據(jù)飛輪已經(jīng)形成
ChatGPT不光是一個AI新范式，也是一個現(xiàn)象級成功的C端產(chǎn)品，又有微軟的資源和渠道加成，很明顯一上來就卡住了非常好的身位。這種情況下，ChatGPT的使用數(shù)據(jù)是可以不斷反補模型本身的。ChatGPT的博客里也反復(fù)強調(diào)他們有獨特的機制，讓數(shù)據(jù)的使用、理解、生產(chǎn)，有緊密的閉環(huán)（參見：https://openai.com/blog/planning-for-agi-and-beyond）。
2. 復(fù)現(xiàn)ChatGPT“理解”能力要多久？
以上所說的五條原因都是“困難”。但是到底有多“困難”，還是需要量化。ChatGPT是一個一個學術(shù)界和業(yè)界都缺乏定論的新技術(shù)，具體的量化不太可能，所以我們這里抓住一個核心點，即“涌現(xiàn)'烏鴉’的能力”，可能性有多高，需要多久？GPT本來就不是“完成各類子任務(wù)最厲害的LLM”，離開這一個核心，我們一定會陷入茫然。
很明顯，無論中國出了多少個類ChatGPT產(chǎn)品，有多少個國產(chǎn)LLM，我們都知道，離ChatGPT能力最近的是擁有Deepmind，提出Transformer/T5/PaLM的谷歌。我們應(yīng)該把90%的注意力放在谷歌身上。
“烏鴉”能力是涌現(xiàn)出來的，而不是有確定可復(fù)制的路徑的。我們雖然知道其能力是在GPT訓練到什么規(guī)模有涌現(xiàn)的，但是不確定別的模型在這個規(guī)模也會涌現(xiàn)同樣能力，畢竟文本質(zhì)量和優(yōu)化方式差別很大。就好像引擎的原理都知道，但是能不能達到那個推重比，只有極少數(shù)的公司能掌握。
一個典型的話術(shù)會是“在OpenAI已經(jīng)探明路徑的情況下，花OpenAI 50%的投入，達到OpenAI 80%的效果”。希望看完上面，我們能認知到，直到Google復(fù)現(xiàn)了烏鴉能力，我們應(yīng)該默認這條路是行不通的。基于能力是“涌現(xiàn)”的，要么100%，要么0%；疊加背后隱藏的工程難度，我們一定要準備好，面對在很長一段時期內(nèi)，OpenAI是唯一一個有烏鴉能力模型的可能性。
而國產(chǎn)LLM在Google做出來之前，就別看了，無論如何吹，不是ChatGPT，也成不了ChatGPT（希望我是錯的）。在這種情況下我們就不去討論復(fù)現(xiàn)ChatGPT需要多少張顯卡了，沒意義。
四、我們未來應(yīng)該如何使用ChatGPT？
圖/微博
1. OpenAI的的開放方式有待觀望
我們上文基于現(xiàn)有信息，技術(shù)理解，和我們的猜想，提出來了ChatGPT的最佳開放模式應(yīng)該是增強和開放prompting的能力，讓健忘的ChatGPT記得你交代的事情，從而讓ChatGPT可以個人化。接下來就是GPT-4的開放和通過不同方式調(diào)教出來，各有所長的子能力模型。
但是以上都是猜想，真正的使用方式還是要看OpenAI自己如何開放。江湖傳聞下一步是和Office Suite的深度整合。Notion AI已經(jīng)給了很好的例子，確實很香。但是究竟是去增強微軟現(xiàn)有產(chǎn)品，還是去成為下一代計算機？我認為OpenAI會選擇后者。但是站在此時此刻，我們只能猜測和觀望，以及做好人和ChatGPT的合理中間層。
2. 意識到人類的局限
同時，我們也要意識到人類有更大的局限，不談算力和知識面，光從理解能力這一角度來說：
人類很難意識到自己的錯誤。
人類有ego，會影響自己的認知，也會讓觀點帶入感情色彩。
人類會故意偷換概念，等等。
所以ChatGPT也許短期不會直接取代人類工作。但是兩年內(nèi)一定可以讓一部分人的人效極大程度地提高。雖然說消滅工作的同時會產(chǎn)生新工作，但是很可能是消滅了一百個，產(chǎn)生了一個。那我們必須要思考一下，假如ChatGPT理解能力更上幾層樓，擁有了多種能力，并且說話也靠譜不亂說了，我們?nèi)祟惖母偁幜€剩下什么呢？第五問會詳細展開，我們先討論兩個常見問題。
3. 2B2C都會有，但生產(chǎn)力價值>娛樂價值
ChatGPT的DAU增長是現(xiàn)象級的，而且大家都覺得很好用，所以會有很多2C應(yīng)用的想象。但是我想提醒大家兩點。
第一，ChatGPT顯而易見的能力是在提升生產(chǎn)力上。而娛樂的價值未必很高，因為對話和閱讀其實是一個門檻較高的娛樂形式。豐富性和深度，多數(shù)情況下也不是一個東西娛樂價值的重要因素。比如游戲想好玩，打擊感一般比NPC栩栩如生更重要；一個短視頻想吸引點擊量，恐怕是話越少越好。所以建議少關(guān)注如何把ChatGPT應(yīng)用到娛樂上，多關(guān)注如何提升生產(chǎn)力上，大方向應(yīng)該沒錯。
第二，要記得這是一個顛覆型產(chǎn)品，而不是一個漸進式的改進。對于科技的early adopter來說，可能已經(jīng)離不開它了（比如我），但是對于大眾來說，遇到事情打開搜索引擎搜一搜，都不是普遍習慣，更別說去用清晰合理的prompt跟ChatGPT對話了。如果有這樣的場景，其實ChatGPT也大概率是一個“提高效率”的角色。
4. 《終結(jié)者》 vs《硅谷》
我的觀點是AGI已經(jīng)到來了，因為如果我們不拿一個完美的標準去衡量ChatGPT的話，會發(fā)現(xiàn)它已經(jīng)在很多任務(wù)上超越了人類的表現(xiàn)。說實話，我已經(jīng)開始覺得想盡量少跟人打交道，而盡量多跟ChatGPT打交道，因為像上文所說，ChatGPT有理性，沒ego，也不會存心騙我。
那AGI會如何進化？這個時候我們要防止被科幻誤導，如果限制ChatGPT的權(quán)限，那就不會發(fā)生《終結(jié)者》里面的世界。但是《硅谷》提到的AI的可能性倒不容小覷。在《硅谷》里，AI可以向著一個“更有效率的工具”這一目標自我進化，但很快，它就研究出如何破解世界上最安全的加密算法了。如果我們讓AGI有自我進化的目標，那確實要小心，會涌現(xiàn)什么樣的顛覆型能力。這個我想太多也沒用，我相信OpenAI是一家最懂AGI，最擔心AGI濫用的機構(gòu)之一。
5. 對于應(yīng)用方向的推演
短期：Better Prompting + 尋找合適的場景
記得兩個重要推論：
ChatGPT是調(diào)用算力和數(shù)據(jù)最合理手段。
ChatGPT在C端，是一個early-adopter的市場，大眾接受尚需時日。
所以短期，把我們世界中現(xiàn)有的需求，與ChatGPT通過prompting的方式更好對接，調(diào)動更適合的算力與數(shù)據(jù)，會是重要的能力與突破。
在場景應(yīng)用中，我們應(yīng)該有兩個原則：
對癥下藥：ChatGPT不是搜索引擎、不是程序，我們就用它做它擅長的事情，而不是去做搜索引擎和程序可以更高效完成的事情。
擇善而從：當前的ChatGPT是有明顯的hallucination問題的，那我們就不能100%相信它的結(jié)論。一個簡單的方法是我們要在自己能判斷對錯的地方去使用ChatGPT提高我們產(chǎn)生想法，收集歸納信息的效率，但是人要來把關(guān)。
中期：ChatGPT Wrapper
Prompting其實是一個要求很高的綜合能力。因為這要求一個人對“解決這個問題需要什么context”有理解，而大多數(shù)人只知道自己在想什么，不知道其他人需要知道什么，也不知道解決問題需要什么。所以對于大多數(shù)人來說，還是需要把ChatGPT的能力包裝成具體解決方案，把context通過其他方式給到ChatGPT，然后讓使用者做判斷題或者選擇題，而不是做開放回答題。
通過prompting，就很容易做到這一結(jié)果。通過誘導New Bing，已經(jīng)看到了ChatGPT是如何跟搜索進行結(jié)合的，就是通過一系列的自然語言來instruct它合理使用搜索的能力。當ChatGPT開放更多prompting的長度，并且能讓system prompting的attention可調(diào)，我們就能很方便地通過instruct prompting，把ChatGPT這一通用型鎧甲適配到具體解決方案中。
有雄心壯志的創(chuàng)業(yè)者可能會對這一前景感到不爽，但是取代iPhone和iOS的公司畢竟不多，而在Apple生態(tài)內(nèi)，也大有可為。微信比錘子值錢多了。
長期：ChatGPT Native Solutions
ChatGPT Native Solution據(jù)我所知，是這里第一次在全網(wǎng)提到。這是一個很重要的概念，類似于智能機時代，Web Mobile和Mobile Native選型的認知。當時絕大多數(shù)開發(fā)者是看好web mobile的，F(xiàn)acebook在這里就走了一個大彎路。但是很快mobile native就展現(xiàn)了壓倒性的優(yōu)勢。我認為ChatGPT Native也會有類似優(yōu)勢。
為什么呢？我們來推演一下，如果通過instruct prompting，可以讓ChatGPT調(diào)用數(shù)據(jù)和算力，那什么樣的解決方案是最合理的？舉個例子，假設(shè)抖音希望通過ChatGPT來開發(fā)下一代的短視頻推薦。我們希望一個人來對推薦的策略用instruct的方式進行調(diào)整和實驗，那如何才能做到？
那我們需要滿足兩點，第一，ChatGPT能讀取調(diào)用抖音的數(shù)據(jù)；第二，ChatGPT能修改抖音的數(shù)據(jù)與configuration（比如修改推薦算法的參數(shù)，達到不同的推薦效果）。
在現(xiàn)有數(shù)據(jù)庫架構(gòu)、定義、系統(tǒng)中做到這件事，哪怕對于ChatGPT也不容易。因為需要一個對系統(tǒng)和數(shù)據(jù)足夠理解的人來教給ChatGPT系統(tǒng)架構(gòu)與數(shù)據(jù)建模，才有可能做到。但是如果ChatGPT全程參與了數(shù)據(jù)建模和系統(tǒng)建設(shè)，那對于ChatGPT，改進這個系統(tǒng)也容易很多。所以現(xiàn)有的各種software engineered結(jié)果，一方面要去適配ChatGPT，一方面也可能會面臨ChatGPT Native的挑戰(zhàn)。遲早有一天，投資人會說出一句話：所有系統(tǒng)和數(shù)據(jù)庫都應(yīng)該被ChatGPT重做一遍。
五、人類和ChatGPT的本質(zhì)區(qū)別是什么？
因為我們的腦科學和神經(jīng)科學非常不發(fā)達，這里只能從哲學尋求解答。BTW，除非腦科學產(chǎn)生重大的范式突破，不然Neuralink這種腦機接口，是不可能實現(xiàn)大家想像中的那些功能的。但我們不是哲學專家，這里就僅供參考。
1. 判斷力
ChatGPT再厲害，也只能去吸取虛擬數(shù)字中的數(shù)字信號，是無法與現(xiàn)實世界做真實交互的。它可以聽一萬個專家告訴他做A就會得到B，但是不從真實世界中做實驗，就無法從最底層確認這個說法究竟是真是假。絕知此事要躬行，才能有判斷力的根基。
2. “Eureka”
牛頓看到蘋果落地，可以發(fā)現(xiàn)萬有引力，從而預(yù)測星星的運動。哥白尼發(fā)現(xiàn)地球是圍繞太陽轉(zhuǎn)的，而在他之前全地球人天天看著日出日落，都認為太陽是繞著地球轉(zhuǎn)的。如果那個時候有一個ChatGPT，一定非常篤定太陽繞著地球轉(zhuǎn)。那個ChatGPT也許能從蘋果如何落地推測出桃子如何落地，但是大概率無法推測出星星的運動方式。
當然，能發(fā)現(xiàn)萬有引力的人也是少數(shù)。更有意義的是去識別這種思維能力到底是什么，以及在我們?nèi)粘Ｉ钪腥绾误w現(xiàn)。阿基米德在泡澡時候發(fā)現(xiàn)浮力定律的時候喊了“Eureka”，大概可以形容這種“靈感并發(fā)、靈光一現(xiàn)”的瞬間。我們這里把這個瞬間稍稍具體地歸結(jié)為“鏈接了數(shù)個相關(guān)的點，并且發(fā)現(xiàn)了第三個點”的過程。
3. 增量知識
如果把現(xiàn)有知識歸納總結(jié)應(yīng)用， 那必然PK不過ChatGPT。只有創(chuàng)造互聯(lián)網(wǎng)上不存在的新知識，才可能是ChatGPT做不到的。注意條件指向，互聯(lián)網(wǎng)上不存在的新知識，也未必不能從存量知識里總結(jié)出來，但是能從存量知識里總結(jié)出來的，一定不是人類的優(yōu)勢。
4. 理解人
人類的文本知識里一定存在很多人性的理解，但是也一定有一些人性或者偏好，是沒有被記錄總結(jié)在文字里的。如果我們結(jié)合1和3，就會發(fā)現(xiàn)，去真實世界理解人，而不是去通過調(diào)研、問卷、網(wǎng)絡(luò)資料理解人；去帶來增量的理解，而不是去人云亦云地重復(fù)套路。才是人類相對于ChatGPT的優(yōu)勢。
六、總結(jié)
ChatGPT的范式突破是“烏鴉”能力。恕能力所限，無法更簡單地無損表達這一能力的本質(zhì)了。如果允許有損，我會用“理解”能力來概括它最重要的一面。作為對比，過往ML的能力模式是“鸚鵡”能力，所做的是尋找“對應(yīng)關(guān)系”。
ChatGPT的意義是人類對“調(diào)用算力和數(shù)據(jù)”最究極的手段，預(yù)測會在兩年內(nèi)有能力輔助人類，高效率完成多數(shù)可被定義為“搬磚”的工作。
ChatGPT的“烏鴉”能力是涌現(xiàn)的，工程難度是極高的。我們應(yīng)該拋棄各種噪音，聚焦關(guān)注Google是否能復(fù)現(xiàn)這一能力，從而判定這一能力到底有多難。而現(xiàn)在，建議我們的默認預(yù)測是這一能力很難復(fù)現(xiàn)，需要別人來用強力證據(jù)說服我們他們能復(fù)現(xiàn)。
我們對ChatGPT的使用應(yīng)該觀望OpenAI給我們提供的調(diào)用方式，在當下，我們應(yīng)該“1. 用好ChatGPT，做好ChatGPT的項目經(jīng)理；2. 學會通過自然語言調(diào)用ChatGPT；3. 尋找做好ChatGPT能力與我們所需要解決問題的的中間層的機會。
Reference:
https://zhuanlan.zhihu.com/p/597586623
https://mp.weixin.qq.com/s/7N3HveaIfn2N-zKjBoRL1A
https://yaofu.notion.site/A-Closer-Look-at-Large-Language-Models-Emergent-Abilities-493876b55df5479d80686f68a1abd72f#b8609bc4b61045db924002de43ae138d
https://guiguzaozhidao.fireside.fm/gpt3
https://www.bilibili.com/video/BV1KK411c74X/
https://mp.weixin.qq.com/s/-wSYLu-XvOrsST8_KEUa-Q
https://github.com/hwchase17/langchain/blob/master/langchain/prompts/prompt.py
https://openai.com/blog/how-should-ai-systems-behave/
https://openai.com/blog/introducing-chatgpt-and-whisper-apis
https://mp.weixin.qq.com/s/7HLtL5fkIkFNe2ZGxMwJ2g
https://openai.com/blog/planning-for-agi-and-beyond
https://github.com/PlexPt/awesome-chatgpt-prompts-zh
本文來自微信公眾號：M小姐研習錄 （ID：MissMstudy），作者：課代表立正
聯(lián)系客服
