LeCun認(rèn)為，這是一場(chǎng)關(guān)于深度學(xué)習(xí)前景的辯論。辯論的核心是對(duì)符號(hào)在智能中的作用存在兩種不同的看法：一種認(rèn)為符號(hào)推理必須從一開(kāi)始就被硬編碼，另一種認(rèn)為機(jī)器可以像人類一樣從經(jīng)驗(yàn)中學(xué)習(xí)。這涉及到我們應(yīng)該如何理解人類智能，進(jìn)而去追求人類水平的人工智能。
對(duì)賭世界首富馬斯克，五十萬(wàn)美元獎(jiǎng)金池已備好
2012年，Geoffrey Hinton帶領(lǐng)的團(tuán)隊(duì)一鳴驚人奪得ImageNET大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽(ILSVRC)冠軍。此后，深度學(xué)習(xí)成為人工智能研究的主要焦點(diǎn)。
深度學(xué)習(xí)已經(jīng)在曾經(jīng)對(duì)計(jì)算機(jī)非常具有挑戰(zhàn)性的很多任務(wù)上取得了進(jìn)展，包括圖像分類、對(duì)象檢測(cè)、語(yǔ)音識(shí)別和自然語(yǔ)言處理。它的表現(xiàn)甚至讓人覺(jué)得造出類人的智能體也指日可待，埃隆·馬斯克在推特放言，“2029年感覺(jué)是關(guān)鍵一年。如果那時(shí)我們還沒(méi)有AGI（通用人工智能），我會(huì)感到驚訝。希望火星上的人也一樣。”
馬斯克的言論在AI社區(qū)中激起眾多反對(duì)聲音，知名AI科學(xué)家、紐約大學(xué)教授加里·馬庫(kù)斯（Gary Marcus）提出與馬斯克對(duì)賭10萬(wàn)美元。馬庫(kù)斯與紐約大學(xué)計(jì)算機(jī)科學(xué)家Ernest Davis合作編制以下五個(gè)檢驗(yàn)AGI是否實(shí)現(xiàn)的標(biāo)準(zhǔn)，作為打賭的內(nèi)容：
2029年，AI無(wú)法看懂電影然后準(zhǔn)確告訴你正在發(fā)生的事情（人物是誰(shuí)、他們的沖突和動(dòng)機(jī)是什么等）；
2029年，AI無(wú)法閱讀小說(shuō)并可靠地回答有關(guān)情節(jié)、人物、沖突、動(dòng)機(jī)等的問(wèn)題；
2029年，AI無(wú)法在任何廚房中擔(dān)任稱職的廚師；
2029年，AI無(wú)法通過(guò)自然語(yǔ)言規(guī)范或與非專家用戶的交互可靠地構(gòu)建超過(guò)10000行的無(wú)錯(cuò)誤代碼（將現(xiàn)有庫(kù)中的代碼粘合在一起不算數(shù)）；
2029年，AI無(wú)法從以自然語(yǔ)言編寫(xiě)的數(shù)學(xué)文獻(xiàn)中任意取證，并將其轉(zhuǎn)換為適合符號(hào)驗(yàn)證的符號(hào)形式。
“這是我的建議，如果你（或任何其他人）在2029年設(shè)法完成至少三個(gè)，就算你贏了。十萬(wàn)美元如何？”馬庫(kù)斯寫(xiě)道。
馬庫(kù)斯發(fā)出這條推特幾個(gè)小時(shí)之內(nèi)，發(fā)布賭局的網(wǎng)站瀏覽量就接近1萬(wàn)次，獎(jiǎng)金池目前已增加到50萬(wàn)美元，由作家凱文·凱利（Kevin Kelly）提出在他的網(wǎng)站上進(jìn)行托管。但馬斯克再無(wú)回應(yīng)。
馬庫(kù)斯對(duì)馬斯克說(shuō)道，“比如你在2015年說(shuō)過(guò)，實(shí)現(xiàn)完全自動(dòng)駕駛的汽車還需要兩年時(shí)間，從那以后，你幾乎每年都說(shuō)一遍同樣的話，可現(xiàn)在完全自動(dòng)駕駛?cè)晕磳?shí)現(xiàn)?！?/p>
馬庫(kù)斯一直對(duì)深度學(xué)習(xí)的技術(shù)路徑有所懷疑，他曾寫(xiě)了一本關(guān)于深度學(xué)習(xí)的限制的書(shū)，他支持將不同AI技術(shù)結(jié)合在一起的混合方法。3月中旬，馬庫(kù)斯曾經(jīng)撰文《深度學(xué)習(xí)撞墻了》，認(rèn)為純粹端到端的深度學(xué)習(xí)快走到盡頭，整個(gè)AI領(lǐng)域必須另尋出路。
混合方法VS純深度學(xué)習(xí)：馬庫(kù)斯嗆聲Hinton
終于，6月1日，一向深居簡(jiǎn)出的Geoffrey Hinton在加州伯克利教授Pieter Abbeel的播客節(jié)目中談到了這個(gè)話題，“如果有人說(shuō)（深度學(xué)習(xí)）撞墻了，那么他們只需列出一張清單，列出深度學(xué)習(xí)無(wú)法做到的事情。5年后，我們就能證明深度學(xué)習(xí)做到了?！?/p>
于是，馬庫(kù)斯在推特上寫(xiě)了一封給Geoffrey Hinton的公開(kāi)信，又提到了他與Ernest Davis合作編制的五條判斷AGI的標(biāo)準(zhǔn)，意思是其已經(jīng)在與馬斯克的賭局里把深度學(xué)習(xí)不能做的事列出來(lái)了。
深度學(xué)習(xí)的缺點(diǎn)確實(shí)隨著發(fā)展日益清晰，包括其有限的泛化性、與因果關(guān)系的斗爭(zhēng)和缺乏可解釋性。此外，大多數(shù)深度學(xué)習(xí)應(yīng)用程序需要大量手動(dòng)注釋的訓(xùn)練示例，這也成了瓶頸。但在三位以其對(duì)深度學(xué)習(xí)的開(kāi)創(chuàng)性貢獻(xiàn)而聞名的圖靈獎(jiǎng)得主Geoffrey Hinton、Yoshua Bengio和Yann LeCun看來(lái)，更好的神經(jīng)網(wǎng)絡(luò)架構(gòu)最終將克服深度學(xué)習(xí)的當(dāng)前限制。
LeCun在文章中寫(xiě)道，“今天看似不可逾越的墻是符號(hào)推理，即以代數(shù)或邏輯的方式操縱符號(hào)的能力。我們知道，解決數(shù)學(xué)問(wèn)題需要根據(jù)嚴(yán)格的規(guī)則逐步處理符號(hào)。作為《The Algebraic Mind》的作者和《Rebooting AI》的作者之一，Gary Marcus最近聲稱深度學(xué)習(xí)無(wú)法進(jìn)一步取得進(jìn)展，因?yàn)樯窠?jīng)網(wǎng)絡(luò)在處理符號(hào)操作方面存在困難。然而，許多深度學(xué)習(xí)研究人員確信深度學(xué)習(xí)已經(jīng)在進(jìn)行符號(hào)推理并將持續(xù)改進(jìn)。”
其實(shí)，LeCun在5月份也發(fā)推文表示，“我相信我們需要找到新的概念，讓機(jī)器能夠：通過(guò)像嬰兒一樣觀察來(lái)了解世界是如何運(yùn)作的。學(xué)會(huì)預(yù)測(cè)一個(gè)人如何通過(guò)采取行動(dòng)來(lái)影響世界。”但這里說(shuō)的跟馬庫(kù)斯倡導(dǎo)的不是同一回事，LeCun正在研究的是一種更復(fù)雜的自我監(jiān)督學(xué)習(xí)，馬庫(kù)斯則支持混合方法。
最近獲得關(guān)注的一種混合方法是神經(jīng)符號(hào)人工智能，這是人工智能的一個(gè)分支，曾隨著深度學(xué)習(xí)的興起而被淘汰。它將人工神經(jīng)網(wǎng)絡(luò)與符號(hào)系統(tǒng)相結(jié)合，但將人類專業(yè)知識(shí)提煉成一套規(guī)則，事實(shí)證明是非常困難、耗時(shí)且昂貴的，這也被稱為“知識(shí)獲取瓶頸”。雖然為數(shù)學(xué)或邏輯編寫(xiě)規(guī)則很簡(jiǎn)單，但世界本身卻非常模棱兩可，事實(shí)證明，不可能為每個(gè)模式編寫(xiě)規(guī)則或?yàn)槟：拍疃x符號(hào)。
在3月IBM神經(jīng)符號(hào)AI研討會(huì)上的一次演講中，麻省理工學(xué)院計(jì)算認(rèn)知科學(xué)教授Joshua Tenenbaum（約書(shū)亞·特南鮑姆）解釋了當(dāng)前神經(jīng)符號(hào)系統(tǒng)如何幫助解決AI系統(tǒng)的一些關(guān)鍵問(wèn)題，包括缺乏常識(shí)和因果關(guān)系、組合性和直覺(jué)物理學(xué)。
“我們?nèi)绾纬街悄艿母拍?，即識(shí)別數(shù)據(jù)中的模式和近似函數(shù)，更多地走向人類思維對(duì)世界的建模——解釋和理解你所看到的事物，想象你看不到但可能發(fā)生的事情，并將它們變成你可以通過(guò)計(jì)劃行動(dòng)和解決問(wèn)題來(lái)實(shí)現(xiàn)的目標(biāo)？”特南鮑姆認(rèn)為，要彌合與人類智能之間的差距，首先要探索的就是人類和許多動(dòng)物共有的智力的基本方面之一：直覺(jué)物理學(xué)和心理學(xué)。
特南鮑姆的神經(jīng)符號(hào)AI概念中的一個(gè)關(guān)鍵組成部分是一個(gè)物理模擬器，將其集成到智能體的推理過(guò)程中，幫助AI實(shí)時(shí)模擬世界并預(yù)測(cè)未來(lái)會(huì)發(fā)生什么。
由此可以大致理解當(dāng)下的神經(jīng)符號(hào)系統(tǒng)AI思路。同時(shí)，這種方式也被證明比純深度學(xué)習(xí)系統(tǒng)需要更少的數(shù)據(jù)和計(jì)算資源。
這就引出了另一個(gè)問(wèn)題——人工智能的范式轉(zhuǎn)變。馬庫(kù)斯又開(kāi)了新的賭局，他認(rèn)為我們90%需要人工智能的范式轉(zhuǎn)變，而SlateStarCodex的名人Scott Alexander則認(rèn)為要低于60%。
LeCun提出爭(zhēng)論本質(zhì)：智能如何運(yùn)作？什么使人類獨(dú)特？
LeCun在文章中指出，馬庫(kù)斯對(duì)深度學(xué)習(xí)的批評(píng)源于認(rèn)知科學(xué)（以及在哲學(xué)中更古老）的一場(chǎng)相關(guān)斗爭(zhēng)，即智能如何產(chǎn)生以及什么使人類獨(dú)特。他的想法與心理學(xué)中一個(gè)著名的“先天理論”學(xué)派一致，該學(xué)派認(rèn)為認(rèn)知的許多關(guān)鍵特征是與生俱來(lái)的——實(shí)際上，我們?cè)诤艽蟪潭壬咸焐陀幸粋€(gè)關(guān)于世界如何運(yùn)作的直觀模型。
這種與生俱來(lái)架構(gòu)的一個(gè)核心特征就是符號(hào)操縱的能力。但這是整個(gè)自然界中均有的還是人類特有的，尚存在爭(zhēng)議。對(duì)于馬庫(kù)斯來(lái)說(shuō)，這種符號(hào)操縱能力是許多常識(shí)的基本特征的基礎(chǔ)：遵循規(guī)則、抽象、因果推理、重新識(shí)別細(xì)節(jié)、概括等。簡(jiǎn)而言之，我們對(duì)世界的大部分理解都是自然賦予的，而學(xué)習(xí)則是充實(shí)細(xì)節(jié)的過(guò)程。
另一種“經(jīng)驗(yàn)主義”觀點(diǎn)則認(rèn)為：符號(hào)操縱在自然界中是罕見(jiàn)的，主要伴隨著人類祖先在過(guò)去兩百萬(wàn)年中逐漸獲得的學(xué)習(xí)交流能力而產(chǎn)生的。根據(jù)這種觀點(diǎn)，認(rèn)知能力主要是與提高生存率相關(guān)的非符號(hào)學(xué)習(xí)能力，如快速識(shí)別獵物、預(yù)測(cè)它們的可能行為以及發(fā)展熟練的反應(yīng)。這個(gè)觀點(diǎn)假設(shè)絕大多數(shù)復(fù)雜的認(rèn)知能力是后天獲得的，是通過(guò)一種普遍的、自監(jiān)督的學(xué)習(xí)能力獲得。這是一種通過(guò)經(jīng)驗(yàn)獲得直觀世界模型的能力，這個(gè)世界模型具備常識(shí)的核心特征。它還假設(shè)，我們大多數(shù)復(fù)雜的認(rèn)知能力都不依賴于符號(hào)操縱，相反是通過(guò)模擬各種場(chǎng)景并預(yù)測(cè)最佳結(jié)果來(lái)做到這一點(diǎn)。
這種經(jīng)驗(yàn)主義觀點(diǎn)將符號(hào)和符號(hào)操縱視為另一種學(xué)習(xí)能力，隨著人類越來(lái)越依賴合作行為取得成功就獲得了這種能力。這種觀點(diǎn)將符號(hào)視為人類用來(lái)協(xié)調(diào)合作活動(dòng)的發(fā)明——如文字，地圖、標(biāo)志性描繪、儀式甚至社會(huì)角色。這些能力被認(rèn)為是由于越來(lái)越長(zhǎng)的學(xué)習(xí)青春期和對(duì)更精確、更專業(yè)的技能（如工具制造和消防維修）需求的結(jié)合而產(chǎn)生的。這一觀點(diǎn)認(rèn)為符號(hào)和符號(hào)操作主要?dú)w于文化發(fā)明，較少依賴于大腦中的硬接線（hard wiring），而更多地依賴于我們?nèi)找鎻?fù)雜的社會(huì)生活。
這兩種觀點(diǎn)之間的差異非常明顯。
對(duì)于先天論來(lái)說(shuō)，符號(hào)和符號(hào)操縱本就在大腦之中，而文字和數(shù)字的使用正是從這種原始能力中衍生出來(lái)的。這種觀點(diǎn)很具吸引力地解釋了一系列源于進(jìn)化適應(yīng)的能力（盡管對(duì)于符號(hào)操縱如何或?yàn)楹芜M(jìn)化的解釋一直存在爭(zhēng)議）。
對(duì)于經(jīng)驗(yàn)主義者來(lái)說(shuō)，符號(hào)和符號(hào)推理是用于交流目的的有用發(fā)明，它源于一般的學(xué)習(xí)能力和復(fù)雜的社會(huì)世界。這些內(nèi)部計(jì)算和內(nèi)心獨(dú)白等發(fā)生在我們頭腦中的象征性東西，因而被視為源自數(shù)學(xué)和語(yǔ)言使用的外部實(shí)踐。
人工智能和認(rèn)知科學(xué)領(lǐng)域密切相關(guān)，因此這些爭(zhēng)論的重演也就不足為奇了。人工智能領(lǐng)域中任一觀點(diǎn)的成功，都會(huì)在部分程度上證明認(rèn)知科學(xué)中的一種或另一種方法是正確的（但也僅是部分程度上），因此這些爭(zhēng)論之激烈也就不足為奇了。現(xiàn)在面臨的問(wèn)題不僅是關(guān)于人工智能當(dāng)代問(wèn)題的正確方法，還有關(guān)于什么是智能以及大腦如何工作的問(wèn)題。
如果馬庫(kù)斯和先天論者是對(duì)的，那么深度學(xué)習(xí)將永遠(yuǎn)無(wú)法實(shí)現(xiàn)類人的AI，無(wú)論它提出了多少新架構(gòu)或投入了多少計(jì)算能力。不斷添加更多層只會(huì)令人困惑，因?yàn)檎嬲姆?hào)操縱需要一個(gè)與生俱來(lái)的符號(hào)操縱者。而且，由于這種符號(hào)操作是幾種常識(shí)能力的基礎(chǔ)，因此深度學(xué)習(xí)系統(tǒng)將永遠(yuǎn)不會(huì)擁有任何東西，只能擁有對(duì)事物粗略、現(xiàn)成的理解。
相比之下，如果深度學(xué)習(xí)的倡導(dǎo)者和經(jīng)驗(yàn)主義者是正確的，那么插入符號(hào)操縱模塊的想法是令人困惑的。在這種情況下，深度學(xué)習(xí)系統(tǒng)已經(jīng)在進(jìn)行符號(hào)推理，并將繼續(xù)改進(jìn)它，因?yàn)樗鼈兺ㄟ^(guò)更多的多模態(tài)自監(jiān)督學(xué)習(xí)、越來(lái)越有用的預(yù)測(cè)世界模型以及用于模擬的工作內(nèi)存的擴(kuò)展以及評(píng)估結(jié)果來(lái)滿足約束。引入符號(hào)操縱模塊不會(huì)導(dǎo)致更像人類的AI，而是迫使所有“推理”通過(guò)一個(gè)不必要的瓶口，讓我們與類人智能漸行漸遠(yuǎn)。這可能會(huì)切斷深度學(xué)習(xí)最令人印象深刻的方面之一：它能夠提出比人類程序員想象的更有用和更聰明的解決方案。
盡管賭注很高，但同樣重要的是，這些辯論中提出的許多問(wèn)題至少在某種程度上是次要的。比如一些討論：深度學(xué)習(xí)系統(tǒng)中的高維向量應(yīng)該被視為離散符號(hào)（可能不是），實(shí)現(xiàn)深度學(xué)習(xí)系統(tǒng)所需的代碼行是否使其成為混合系統(tǒng)（語(yǔ)義），在復(fù)雜游戲中獲勝是否需要手工的、特定領(lǐng)域的知識(shí)，或者它是否可以學(xué)習(xí)（說(shuō)得太早了）。還有一個(gè)問(wèn)題是混合系統(tǒng)是否有助于解決圍繞人工智能的倫理問(wèn)題（否）。
而這一切都不是為了證明這場(chǎng)愚蠢的炒作是合理的：當(dāng)前的系統(tǒng)沒(méi)有意識(shí)——它們并不能理解我們，強(qiáng)化學(xué)習(xí)還不夠，你不能僅僅通過(guò)擴(kuò)大規(guī)模來(lái)建立類人智能。但所有這些問(wèn)題都與主要爭(zhēng)論無(wú)關(guān)：符號(hào)操縱是否需要硬編碼，還是可以學(xué)習(xí)？
這是停止研究混合模型的呼吁嗎？當(dāng)然不是。研究人員自1980年代以來(lái)一直在研究混合模型，但尚未證明它們是靈丹妙藥——或者在許多情況下，甚至遠(yuǎn)不及神經(jīng)網(wǎng)絡(luò)。更廣泛地說(shuō)，人們應(yīng)該懷疑深度學(xué)習(xí)是否已達(dá)到極限。
LeCun在結(jié)尾中寫(xiě)道，鑒于最近DALL-E 2、Gato和PaLM中任務(wù)的持續(xù)、增量改進(jìn)，避免將障礙誤認(rèn)為墻壁似乎是明智之舉。深度學(xué)習(xí)不可避免的失敗之前就已經(jīng)預(yù)料到了，但押注它是不值得的。
記者 / 邵文
聯(lián)系客服
