九色国产,午夜在线视频,新黄色网址,九九色综合,天天做夜夜做久久做狠狠,天天躁夜夜躁狠狠躁2021a,久久不卡一区二区三区

隨著算力的日益提高和研究的不斷積累，深度學(xué)習(xí)的發(fā)展已經(jīng)走向應(yīng)用，給各行各業(yè)帶來(lái)了深刻的影響。如何從模型的設(shè)計(jì)和部署兩方面讓 AI 更加向善，這是構(gòu)建深度學(xué)習(xí)工具和使用工具的人都需要考慮的問(wèn)題。

在這樣的背景下，三位圖靈獎(jiǎng)獲得者 Raj Reddy、Yoshua Bengio、Yann LeCun 和 2011 年 ACM 計(jì)算獎(jiǎng)得主 Sanjeev Arora，以及多位學(xué)者，在今年九月舉辦的第九屆海德堡獲獎(jiǎng)?wù)哒搲蠋?lái)了一場(chǎng)關(guān)于深度學(xué)習(xí)的應(yīng)用與影響的討論。

Yann LeCun：我覺(jué)得有一個(gè)很籠統(tǒng)的定義，即通過(guò)組裝那些函數(shù)沒(méi)有被完全定義的組塊來(lái)組裝一個(gè)機(jī)器，然后通過(guò)使用梯度下降最小化某種目標(biāo)函數(shù)來(lái)解決這些函數(shù)。

這個(gè)籠統(tǒng)的定義適用于很多情況，不僅僅是神經(jīng)網(wǎng)絡(luò)，并且可能還與上世紀(jì) 50 年代的單一處理（single processing）和模式識(shí)別有共通之處。

這些年來(lái)，深度學(xué)習(xí)的概念已經(jīng)有所演變，也的確有人提議重新予以命名?？晌⒎志幊蹋╠ifferentiable programming）這個(gè)概念可以被泛化地理解為深度學(xué)習(xí)，其含義是編寫一個(gè)程序，其中函數(shù)調(diào)用不被完全定義，而是在訓(xùn)練中加以調(diào)整。

Sanjeev Arora：我以前研究算法和計(jì)算復(fù)雜性，大約在 2011 年，就在深度學(xué)習(xí)爆發(fā)的前一年，我轉(zhuǎn)向了機(jī)器學(xué)習(xí)。

LeCun 剛才談到的范式是，你有一個(gè)成本函數(shù)（cost fucntion），并在過(guò)程中加以調(diào)整，這就是深度學(xué)習(xí)。問(wèn)題是，成本函數(shù)并不能真正確定神經(jīng)網(wǎng)絡(luò)所做的事情，從相同的成本函數(shù)中，你也可以獲得其他很多東西。所以這種范式并不總是受到認(rèn)可?，F(xiàn)在它在理論上已經(jīng)被證明了，其實(shí)是算法的隱式偏差。

目前我們還不清楚最底層發(fā)生了什么，所以我認(rèn)為，如果僅使用成本函數(shù)來(lái)推理深度網(wǎng)絡(luò)，可能是錯(cuò)誤的，我們需要更多地了解黑箱內(nèi)部所發(fā)生的事情。理想情況下，我們?yōu)榇诵枰粋€(gè)更廣泛的關(guān)于訓(xùn)練算法的隱式偏見的理論。因?yàn)橛?xùn)練算法、架構(gòu)和成本函數(shù)組合在一起，才帶來(lái)了我們所看到的結(jié)果。我們并未掌握完整的理論，但這種理論是十分重要的，因?yàn)楫?dāng)前我們使用深度學(xué)習(xí)的主要方式是在無(wú)標(biāo)簽數(shù)據(jù)的情況下訓(xùn)練模型，然后泛化到其他任務(wù)。這種方式不適用于任何現(xiàn)有的理論框架。所以我們必須真正深入黑箱。

Shakir Mohamed：我們有兩種理解機(jī)器學(xué)習(xí)的方式。一種是關(guān)于使用訓(xùn)練、算法、架構(gòu)和成本函數(shù)；另一種是將機(jī)器學(xué)習(xí)理解為創(chuàng)建一個(gè)模型。模型是一種描述世界的方式，包括數(shù)據(jù)是如何生成的、我們?nèi)绾斡^察數(shù)據(jù)、我們期望看到什么樣的預(yù)測(cè)，這種方式我稱之為「推理」（inference）。

如何將數(shù)據(jù)轉(zhuǎn)化為更新參數(shù)的方式？對(duì)于任何推理方法，研究統(tǒng)計(jì)或概率的人通常使用的一種方法是最大似然。對(duì)于我們所使用的任何一種模型結(jié)構(gòu)，都可得到一種算法。深度學(xué)習(xí)的魔力在于基于組合性、遞歸性、架構(gòu)深度、特定類型的損失函數(shù)、梯度下降算法，對(duì)特定類型的模型進(jìn)行特定的選擇。

所以我認(rèn)為，那些對(duì)概率感興趣、做推理思考的人應(yīng)該把分解作為其分析工具，即對(duì)于以下問(wèn)題做分解：你正在建立的是什么模型？為什么要建立這個(gè)模型？將數(shù)據(jù)轉(zhuǎn)化為見解的推理過(guò)程是什么？你實(shí)際使用的算法是什么？

對(duì)于所有這些問(wèn)題中的每一個(gè)，你都可以將其視為一個(gè)對(duì)象，對(duì)其做分析、做理論研究或是實(shí)證檢驗(yàn)?；蛘吣阋部梢詫⑵浞旁谝黄鹧芯俊?/p>

我認(rèn)為這種模型非常有用，它將機(jī)器學(xué)習(xí)理解為一個(gè)廣泛的領(lǐng)域。機(jī)器學(xué)習(xí)并不僅僅是獲取數(shù)據(jù)、跑代碼、使用 scikit-learn、做一些預(yù)測(cè)，要關(guān)心我們真正在做的是什么。

YoshuaBengio：我非常同意 Shakir 和 Sanjeev 的觀點(diǎn)。我想強(qiáng)調(diào)的是，我們需要對(duì)我們?cè)诟鞣N深度學(xué)習(xí)實(shí)現(xiàn)和架構(gòu)中投入的歸納偏差有更多有意識(shí)的理解。理想情況下，在設(shè)計(jì)階段，我們應(yīng)當(dāng)考慮函數(shù)或分布空間中的偏好是什么，并將這些偏好引入到目標(biāo)函數(shù)之外的學(xué)習(xí)中。這對(duì)設(shè)計(jì)下一代深度學(xué)習(xí)系統(tǒng)也有意義。

深度學(xué)習(xí)經(jīng)常被吐槽的一個(gè)點(diǎn)是它的推理能力。有一種觀點(diǎn)認(rèn)為，深度學(xué)習(xí)不能像人類那樣做真正的推理，因?yàn)槿祟愂褂玫氖谴竽X中的某些神經(jīng)網(wǎng)絡(luò)。我同意，但我相信，可以通過(guò)引入歸納偏差，將結(jié)構(gòu)融入這些架構(gòu)和對(duì)象中，從而引發(fā)類似于人類的推理。

提問(wèn)：我從事自動(dòng)駕駛系統(tǒng)和自動(dòng)駕駛汽車方面的工作，我有兩個(gè)問(wèn)題，一是機(jī)器學(xué)習(xí)技術(shù)的可轉(zhuǎn)化性，另一個(gè)問(wèn)題是如何把由感知系統(tǒng)產(chǎn)生的具體知識(shí)與符號(hào)知識(shí)聯(lián)系起來(lái)？自動(dòng)駕駛汽車如何避免感知系統(tǒng)錯(cuò)誤，比如變化的交通燈。這不會(huì)發(fā)生在人類身上，人有常識(shí)，有一個(gè)外部世界的模型可以將感官信息與符號(hào)知識(shí)聯(lián)系起來(lái)。

Yann LeCun：我回答第二個(gè)問(wèn)題。將原始數(shù)據(jù)、感官數(shù)據(jù)轉(zhuǎn)換為符號(hào)表示或者符號(hào)類別或序列。這就是深度學(xué)習(xí)擅長(zhǎng)的。但它仍然不完美，因?yàn)樗赡芊浅４嗳酰驗(yàn)橥ǔＨ绻ㄟ^(guò)監(jiān)督運(yùn)行的訓(xùn)練，它將被訓(xùn)練用于特定任務(wù)。而就在這個(gè)任務(wù)之外，它不會(huì)工作得特別好。

我們還不太清楚我們是如何讓深度學(xué)習(xí)系統(tǒng)做推理的，目前有很多研究，實(shí)際上我寫了一篇關(guān)于觀點(diǎn)論文，幾個(gè)月前放在了網(wǎng)上，試圖解決讓推理與深度學(xué)習(xí)相兼容的問(wèn)題。

論文地址：https://openreview.net/pdf?id=BZ5a1r-kVsf

因?yàn)樯疃葘W(xué)習(xí)是一種非常強(qiáng)大的技術(shù)，我們需要讓機(jī)器去學(xué)習(xí)世界模型并獲得常識(shí)。

Yoshua Bengio：我確實(shí)認(rèn)為有可能將符號(hào)知識(shí)與我們從數(shù)據(jù)中提取的知識(shí)聯(lián)系起來(lái)，例如設(shè)計(jì)不同的架構(gòu)，并且將推理作為其中的重要組成部分。

深度神經(jīng)網(wǎng)絡(luò)的競(jìng)爭(zhēng)力在于，我們將多個(gè)層和模塊組合起來(lái)，并開始有了注意力機(jī)制，但還需要更多動(dòng)態(tài)組合，正確的知識(shí)或者是高級(jí)知識(shí)，甚至是符號(hào)知識(shí)需要被組合起來(lái)去做推理，這是未來(lái)我們利用注意力機(jī)制的一種路徑，不過(guò)這仍是一個(gè)非常開放的問(wèn)題。

Sanjeev Arora：Yoshua 你談到了自治系統(tǒng)，好像這些系統(tǒng)是在許多時(shí)間段或在無(wú)限的時(shí)間里運(yùn)行，但我們還不清楚是否對(duì)系統(tǒng)的決策做出持續(xù)性的解釋，因?yàn)樗且粋€(gè)動(dòng)態(tài)程序。而人類擁有解釋這些決策的所有捷徑，誰(shuí)知道這些捷徑是否有用？

Yoshua Bengio：你在不同的國(guó)家只能靠左行駛或靠右行駛，我們可以對(duì)符號(hào)規(guī)則做類似的處理。

Sanjeev Arora：是的，但還有一個(gè)問(wèn)題是，當(dāng)你說(shuō)到動(dòng)態(tài)決策時(shí)，并沒(méi)有簡(jiǎn)潔的解釋來(lái)理解為什么它是正確的。

Been Kim：以某種方式將符號(hào)邏輯與深度學(xué)習(xí)架構(gòu)相結(jié)合，對(duì)于解釋能力和可解釋性方面的研究非常有用。但我認(rèn)為，我們有一個(gè)錯(cuò)誤的假設(shè)，即在我們的世界中，存在于人類身上的符號(hào)足以理解復(fù)雜的自動(dòng)駕駛汽車和其他復(fù)雜系統(tǒng)。在這種假設(shè)下，問(wèn)題就變成了如果我們要將這個(gè)復(fù)雜的神經(jīng)網(wǎng)絡(luò)正在做的事近似為對(duì)我們有意義的符號(hào)，這種近似是否足夠好？我們?nèi)绾闻袛嗨螘r(shí)不夠好？為什么會(huì)失??？如果失敗了，它會(huì)告訴我們?nèi)绾涡迯?fù)嗎？我認(rèn)為這是一個(gè)非常重要的問(wèn)題。

提問(wèn)：請(qǐng)問(wèn) Bengio教授，您提到了推理和歸納偏差的必要性，我個(gè)人更多是在適應(yīng)不同模態(tài)的空間中處理歸納偏差，我想知道您在這方面是怎么做的。

Yoshua Bengio：我們?cè)谌祟愅评碇锌吹降囊恍w納偏差涵蓋了這樣一個(gè)事實(shí)：當(dāng)我們?cè)诟邔哟紊线M(jìn)行推理時(shí)，我們?cè)诮⒏拍钪g的因果關(guān)系、概念之間的關(guān)系，并形成一個(gè)非常稀疏的圖（graph）。如果我丟下一個(gè)球，它就會(huì)落在地面上，像這樣非常準(zhǔn)確的預(yù)測(cè)是在高層次上的，涉及的變量很少，這就跟你在像素級(jí)別上能夠執(zhí)行的操作非常不同。

此外，在這個(gè)高層次上，我們重復(fù)使用這些概念和組件來(lái)形成新的序列、新的意義，我們還不知道如何做好重用動(dòng)態(tài)和重組，但我們可以將這種歸納偏差設(shè)計(jì)到神經(jīng)網(wǎng)絡(luò)中。

人類高層次理解的另一個(gè)方面是因果關(guān)系，因果關(guān)系在分布泛化和我們關(guān)于意圖的思考方面起作用，意圖也就是人類想要做的事情以及在高層次上與干預(yù)相關(guān)的行為，所以這跟強(qiáng)化學(xué)習(xí)有很多關(guān)聯(lián)。我們還需要做更多的工作，去將歸納偏差它們整合到架構(gòu)和訓(xùn)練對(duì)象中。

人類擅長(zhǎng)推論和推理，但我們并不是完美的推理機(jī)器，理解我們失敗的推理模式也很重要。我們或許可以從生物學(xué)中獲取線索，幫助我們探索如何將這些歸納偏差引入神經(jīng)網(wǎng)絡(luò)。

提問(wèn)：自成立以來(lái)，ICLR 的開放式同行評(píng)審方法都非常特殊，這對(duì)于 AI 領(lǐng)域?qū)W術(shù)研究發(fā)展是否產(chǎn)生了影響？ICLR 最早的大會(huì)主席 Yoshua 和 Yann 都在這里，我們先從 Yann 開始。

Yann LeCun：2000 年底到 2010 年初，當(dāng)時(shí)人們謹(jǐn)慎地討論該怎么正確地進(jìn)行同行評(píng)審，計(jì)算機(jī)科學(xué)會(huì)議的同行評(píng)審頗有些隨機(jī)，但這不能怪罪于執(zhí)行同行評(píng)審的人，因?yàn)檫@就是它的本質(zhì)，而且這個(gè)領(lǐng)域的快速發(fā)展也決定了這一點(diǎn)，大多數(shù)人在領(lǐng)域內(nèi)的經(jīng)驗(yàn)都是有限的，所以大多數(shù)審稿人有時(shí)會(huì)是博士生，有時(shí)是碩士生。他們更多是要找出一篇論文的缺點(diǎn)而非優(yōu)點(diǎn)，而且不得不拒絕很多論文，我們很多人都為此感到內(nèi)疚。

我跟 Yoshua已經(jīng)討論了幾次，論文或預(yù)印本與在出版機(jī)構(gòu)或評(píng)審機(jī)構(gòu)之間的壟斷關(guān)系已經(jīng)被打破，所以任何評(píng)審機(jī)構(gòu)，無(wú)論是會(huì)議還是期刊，都可以評(píng)審任何論文，并且任何論文也都可以請(qǐng)求評(píng)審機(jī)構(gòu)進(jìn)行評(píng)審。如果您想要獲取見解和評(píng)論，同行評(píng)審就像是一個(gè)開放的市場(chǎng)，準(zhǔn)確度、預(yù)測(cè)性或信譽(yù)度，對(duì)評(píng)審機(jī)構(gòu)都有提升作用。

我在我的網(wǎng)站上寫了一篇關(guān)于這個(gè)的文章，并在馬薩諸塞大學(xué)阿默斯特分校和 David McCallum 討論，他正在做 OpenReview 的工作，OpenReview 相當(dāng)于是一個(gè)實(shí)施同行評(píng)審的基礎(chǔ)設(shè)施。

根據(jù)pin實(shí)體的準(zhǔn)確度或預(yù)測(cè)性，或者類似的東西或它們的信譽(yù)度來(lái)提升審查實(shí)體。所以我在我的網(wǎng)站上寫了一篇關(guān)于這個(gè)的文章，然后開始和大衛(wèi)麥卡勒姆討論你。U mass，amherst，因?yàn)樗陂_展公開審查，公開審查基本上是可用于實(shí)施這些想法的基礎(chǔ)設(shè)施。

2013 年，我們停止了運(yùn)行了十年的 wrokshop，并開始啟動(dòng) ICLR。我們?cè)儐?wèn) OpenReview 我們能不能實(shí)施同行評(píng)審系統(tǒng)，實(shí)際上并不可能實(shí)施整個(gè)系統(tǒng)，但我們?nèi)〉昧艘恍┏晒Α?/p>

重要的是，評(píng)審是開放的，所以評(píng)審人會(huì)寫評(píng)論，并被所有人看到，提交的論文也是所有人可見。這不是雙盲，而是單盲，官方審稿人是匿名的，但是任何人都可以選擇在自己的名下為所有論文寫評(píng)論。

有一位對(duì)這個(gè)過(guò)程感興趣的社會(huì)心理學(xué)家進(jìn)行了一項(xiàng)調(diào)查，比如詢問(wèn)人們與經(jīng)典模式相比會(huì)更喜歡這種模式嗎？他們都回答是的，這個(gè)結(jié)論非常明確。

但最終當(dāng)其他人組織 ICLR 時(shí)，我們并不能去告訴程序委員會(huì)該如何組織會(huì)議，因?yàn)樗麄兪侵驹傅慕巧?。所以評(píng)審過(guò)程又逐漸地越來(lái)越接近于更傳統(tǒng)的模式，除了 OpenReview 得以保留。

而現(xiàn)在，其他會(huì)議也都轉(zhuǎn)換到這種模式，包括 NeurIPs 和 ICML，我認(rèn)為這是一個(gè)進(jìn)步。在開放性的另一個(gè)方面，我認(rèn)為 Yoshua 和我對(duì)激發(fā) AI 社區(qū)研究的的快速發(fā)表產(chǎn)生了重大影響。有這樣一句話：早發(fā)表，多發(fā)表。論文可能有錯(cuò)誤，但是沒(méi)關(guān)系，有機(jī)會(huì)糾正。

提問(wèn)：Yoshua，結(jié)合你在 ICLR 的經(jīng)驗(yàn)，對(duì)于那些除了自己的研究之外還參與組織工作的年輕研究人員，你有什么要做和不要做的建議？

Yoshua Bengio：我先就 Yann 的回答再補(bǔ)充一些背景。機(jī)器學(xué)習(xí)研究者社區(qū)幾十年來(lái)在開放科學(xué)和開放出版方面一直是積極分子，我和 Yann 一直在推動(dòng) ICLR。

在 1999 年左右，《機(jī)器學(xué)習(xí)期刊》(Machine Learning Journal)的委員會(huì)發(fā)生了一場(chǎng)小革命，委員會(huì)成員和研究者包括我自己在內(nèi)都在推動(dòng)更多的開放獲取，但是談判并沒(méi)有成功，委員會(huì)的很大一部分成員離開了。我們創(chuàng)辦了現(xiàn)在機(jī)器學(xué)習(xí)旗艦期刊——The Journal of Machine Learning Research (JMLR)，是社區(qū)管理的非營(yíng)利組織。

有時(shí)科學(xué)上的需要和科學(xué)家尋求的真理價(jià)值觀以及為社會(huì)做一些積極的事情，并不總是與利潤(rùn)最大化相一致。我認(rèn)為有理想的年輕人，例如發(fā)起 Climate Change AI (CCAI) 的小組，在會(huì)議上申請(qǐng)組織研討會(huì)，通常是年輕人新群體將精力投入到這些事情中。有時(shí)他們可以自己創(chuàng)辦一個(gè)會(huì)議，要做到這一點(diǎn)需要付出工作和努力，需要召集一大批關(guān)心這個(gè)話題的人。

Yann LeCun：谷歌學(xué)術(shù)顯示，自 2013 年以來(lái)，ICLR 在所有出版機(jī)構(gòu)影響力排名中已經(jīng)位列第七位，領(lǐng)先于 PNAS，這是非常了不起的，這要?dú)w功于完全開放的評(píng)審過(guò)程。

提問(wèn)：現(xiàn)在模型越來(lái)越大、越來(lái)越復(fù)雜，而大模型會(huì)消耗更多的能量和資源。隨著時(shí)間的推移，這會(huì)導(dǎo)致氣候越來(lái)越糟糕，而且模型似乎不會(huì)停止變大。在嘗試構(gòu)建更高效的模型時(shí)，是否有任何工具、程序或其他措施來(lái)防止這種情況發(fā)生呢？

Sanjeev Arora：我們可以從訓(xùn)練和部署兩方面來(lái)看，在部署階段，我們可以使模型更加緊湊，但在訓(xùn)練方面，我們確實(shí)傾向于把模型做得越來(lái)越大。

Yann LeCun：其實(shí)分三類，有研究培訓(xùn)、生產(chǎn)培訓(xùn)以及部署。部署是迄今為止最大的能源消耗源。有一篇非常有趣的論文，是谷歌的員工做出了某種預(yù)測(cè)，預(yù)測(cè)關(guān)于在谷歌這樣的在線服務(wù)中花費(fèi)在 AI 上的能源與其他所有能源的比例是多少。事實(shí)上比例不是很大。所以能源消耗的數(shù)字正在變大，但它變大的速度不是很快。目前，這個(gè)數(shù)字大概是 15 - 20%，而且不會(huì)超出這個(gè)范圍，因?yàn)槭艿搅私?jīng)濟(jì)的限制，而且所有那些大公司都在能源上花費(fèi)了大量的錢，這意味著他們有巨大的動(dòng)力去節(jié)省能源。

Been Kim：蒸餾是一個(gè)可以關(guān)注的關(guān)鍵詞。蒸餾可以將復(fù)雜網(wǎng)絡(luò)變得更小、更易于理解、更稀疏。稀疏網(wǎng)絡(luò)也是一個(gè)值得關(guān)注的關(guān)鍵詞。而且我還想補(bǔ)充一下，在制作、部署模型的時(shí)候，在像谷歌這樣的公司中，簡(jiǎn)化模型這一點(diǎn)是非常重要的。因?yàn)槟Ｐ驮綇?fù)雜就越難維護(hù)，更難理解，即便對(duì)我們來(lái)說(shuō)也很難。因此，我們一直在努力把模型做得更好、更簡(jiǎn)單。

Yann LeCun：有非常龐大的工程師團(tuán)隊(duì)投入所有精力去做這個(gè)工作，他們的努力使得部署中的推理更加高效。

提問(wèn)：有一個(gè)相關(guān)的問(wèn)題是，我們?nèi)绾未_保有相關(guān)的激勵(lì)措施使人工智能的進(jìn)步能夠直接解決氣候危機(jī)方面的問(wèn)題？

Shannon Vallor：我認(rèn)為有必要考慮一下，當(dāng)我們還不能將 AI 用于所有事情的時(shí)候，我們要使用 AI 來(lái)優(yōu)先解決什么問(wèn)題？氣候危機(jī)的加速速度比預(yù)期的要快，影響正變得比預(yù)期的更嚴(yán)重。所以我認(rèn)為我們需要確保對(duì)人工智能應(yīng)用和部署的投資激勵(lì)與應(yīng)對(duì)氣候危機(jī)的需要相稱 。

Yann LeCun：谷歌 Alphabet 和我在使用人工智能應(yīng)對(duì)氣候變化方面有合作過(guò)一些項(xiàng)目。例如我們做了一個(gè)開放式協(xié)作項(xiàng)目，其想法是使用人工智能來(lái)找出有效地將氫與氧從水中分離出來(lái)的方法。

只要能有效地大規(guī)模儲(chǔ)存能量，我們就有了應(yīng)對(duì)氣候變化的解決方案。我們可以用太陽(yáng)能電池板覆蓋一個(gè)小沙漠，用水產(chǎn)出氫氣后，將能量以甲烷的形式運(yùn)送到需要的地方。從此我們將不再需要化石燃料。該項(xiàng)目?jī)H活躍了大約一年，但它是一個(gè)任何人都可以參與的開放項(xiàng)目。我認(rèn)為人工智能在材料科學(xué)和化學(xué)中的應(yīng)用非常有前景。

Yoshua Bengio：我們的確采取了某些措施，但正如 Shannon 所說(shuō)，這些措施還不夠。要解決這個(gè)問(wèn)題的話，必須要由政府來(lái)推出政策。能夠解決這個(gè)問(wèn)題的不是個(gè)人，甚至不是個(gè)別公司，而是政府。只有政府能在地球的層面上用最理想的方式做到。我們需要鼓勵(lì)政府。而且這么做不僅僅是因?yàn)闅夂?，我在傳染病、醫(yī)療等領(lǐng)域也遇到過(guò)類似的問(wèn)題。