大數(shù)據(jù)文摘作品
編譯：馮琛、Aileen
在剛過去的ICLR會(huì)議中，谷歌人工智能研究員Ali Rahimi批評(píng)了整個(gè)機(jī)器學(xué)習(xí)行業(yè)對(duì)經(jīng)驗(yàn)法則、試錯(cuò)法和迷信的過分依賴。
去年12月，谷歌公司的人工智能（AI）研究員Ali Rahimi在NIPS大會(huì)的演講中批判了自己的研究領(lǐng)域，他說，計(jì)算機(jī)通過嘗試和錯(cuò)誤進(jìn)行學(xué)習(xí)的機(jī)器學(xué)習(xí)算法已經(jīng)成為“煉金術(shù)”的一種。
研究人員其實(shí)并不知道為什么某些算法行之有效，而其他算法徒勞無益，他們也沒有嚴(yán)格的標(biāo)準(zhǔn)來界定AI架構(gòu)的選擇。因此，他獲得了現(xiàn)場(chǎng)觀眾長(zhǎng)達(dá)40秒的歡呼。
4月30日，Rahimi在加拿大溫哥華召開的國(guó)際學(xué)習(xí)表征會(huì)議（ICLR）上再次強(qiáng)調(diào)了他的觀點(diǎn)。在他和同事發(fā)表了名為《贏家詛咒？關(guān)于速度、進(jìn)步與經(jīng)驗(yàn)主義）Winner's Curse? On Pace, Progress, and Empirical Rigor》的論文中，他們記錄了“機(jī)器學(xué)習(xí)煉金術(shù)化”的相關(guān)案例，并提供了加強(qiáng)AI嚴(yán)謹(jǐn)性問題的解決方案。
這篇論文被選進(jìn)今年ICLR的workshop
公眾號(hào)后臺(tái)對(duì)話框內(nèi)回復(fù)“煉金術(shù)”即可下載這篇論文~
Rahimi說：“人工智能領(lǐng)域存在一種‘痛苦’。我們中有很多人都感覺自己使用的是外星技術(shù)。”
現(xiàn)代科學(xué)中，煉金術(shù)常被用來比喻缺乏科學(xué)嚴(yán)謹(jǐn)性，沒有明確理論基礎(chǔ)支持，知其然而不知其所以然的研究工作。
煉金術(shù)是中世紀(jì)的一種化學(xué)哲學(xué)的思想和始祖，是當(dāng)代化學(xué)的雛形。其目標(biāo)是通過化學(xué)方法將一些基本金屬轉(zhuǎn)變?yōu)辄S金，制造萬靈藥及制備長(zhǎng)生不老藥。現(xiàn)在的科學(xué)表明這種方法是行不通的?，F(xiàn)代分析心理學(xué)的創(chuàng)始人卡爾·古斯塔夫·榮格認(rèn)為，古代的煉金術(shù)實(shí)際上是一種人以自己的心靈發(fā)展為參照，對(duì)自然界現(xiàn)象的投射行為。
——維基百科
“煉金術(shù)問題”和“AI的可重復(fù)性問題”不同：可重復(fù)性問題是指研究人員因?yàn)閷?shí)驗(yàn)的不連續(xù)性和研究過程公開實(shí)踐不一致性，導(dǎo)致無法重復(fù)彼此的研究結(jié)果。
“煉金術(shù)問題”和機(jī)器學(xué)習(xí)中的“黑箱問題”及“可解釋性”問題也有區(qū)別：后者是指，難以解釋特定的AI如何得到其結(jié)論。
就像Rahimi所指出的，是“某個(gè)機(jī)器學(xué)習(xí)系統(tǒng)是一個(gè)黑箱”和“整個(gè)領(lǐng)域都變成了黑箱”的區(qū)別。
如果沒有深入理解構(gòu)建和訓(xùn)練新算法所需的基本工具，創(chuàng)造AI的研究人員就會(huì)像中世紀(jì)的煉金術(shù)士那樣訴諸傳聞。Fran?ois Chollet是一位來自加州山景城的谷歌計(jì)算機(jī)科學(xué)家，他補(bǔ)充道：“人們崇拜草包族科學(xué)，依靠民間傳說和魔法?！?/span>（文摘菌：有關(guān)草包族科學(xué)，可以看看《別鬧了！費(fèi)曼先生》）
例如，采用一些小算法來調(diào)整他們的AI的“學(xué)習(xí)率“——算法在每次錯(cuò)誤后可以自行糾正——而不理解為什么一個(gè)結(jié)果比其他的好。在其他情況下，AI研究人員對(duì)算法的訓(xùn)練更像只是在黑暗中蹣跚而行。
例如，實(shí)現(xiàn)了所謂的“隨機(jī)梯度下降”，以優(yōu)化算法的參數(shù)以盡可能降低故障率。然而，目前盡管有成千上萬的學(xué)術(shù)論文和數(shù)不清的方法應(yīng)用，整個(gè)研究過程還是依賴于嘗試和錯(cuò)誤。
梯度下降依靠嘗試和錯(cuò)誤來優(yōu)化算法，圖為在3D景觀中尋找最小值。
Rahimi的論文強(qiáng)調(diào)了那些可能出現(xiàn)的精力浪費(fèi)和次優(yōu)表現(xiàn)。例如，論文指出，當(dāng)其他研究人員對(duì)一個(gè)最先進(jìn)的語言翻譯算法進(jìn)行大量訓(xùn)練后，簡(jiǎn)化后的算法其實(shí)更好，它能更高效地將英語翻譯成德語或法語，這表明算法的原來創(chuàng)作者并不了解那些可以被簡(jiǎn)化掉的額外部分到底有什么用。
不過，在倫敦的推特機(jī)器學(xué)習(xí)研究人員Ferenc Huszár說，有時(shí)候算法里花里胡哨的東西才是唯一好的部分。在某些情況下，一個(gè)算法的核心在技術(shù)上存在缺陷，這意味著，這算法能有還不錯(cuò)的結(jié)果完全歸功于其他應(yīng)用在表面上的技巧。
Rahimi提供了一些關(guān)于了解哪種算法效果最好以及什么時(shí)候效果最好的建議。他認(rèn)為，對(duì)于初學(xué)者來說，研究人員應(yīng)該像研究翻譯算法一樣進(jìn)行“排除法研究”：每次刪除一部分算法，以查看每個(gè)部分的功能。
他呼吁進(jìn)行“切片分析”，其中詳細(xì)分析了算法的性能，以了解某些部分的改進(jìn)可能會(huì)在其他地方付出代價(jià)。
“研究人員應(yīng)該用許多不同的條件和設(shè)置來測(cè)試他們的算法，并且應(yīng)該匯報(bào)算法在所有情況下的表現(xiàn)。”
加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)家Ben Recht是Rahimi的煉金術(shù)主題演講的合著者，他認(rèn)為人工智能需要借鑒物理學(xué)，在物理學(xué)領(lǐng)域，研究人員經(jīng)常將問題縮小到一個(gè)更小的“玩具問題”。“物理學(xué)家擅長(zhǎng)以簡(jiǎn)單的實(shí)驗(yàn)設(shè)計(jì)從根源上詮釋現(xiàn)象?！?/span>
一些人工智能研究人員已經(jīng)開始采用這種方法，為了更好地理解算法的內(nèi)部機(jī)制，在處理大量彩色照片之前，先在小的黑白手寫字符上測(cè)試圖像識(shí)別算法。
倫敦DeepMind的計(jì)算機(jī)科學(xué)家CsabaSzepesvári認(rèn)為，機(jī)器學(xué)習(xí)領(lǐng)域也需要淡化對(duì)競(jìng)爭(zhēng)性測(cè)試的重視。目前，如果一篇論文中報(bào)告的算法優(yōu)于某些基準(zhǔn)，那這篇論文會(huì)比其他深度揭示軟件內(nèi)部運(yùn)行原理的論文更容易發(fā)表。
這就是花式翻譯算法如何通過同行評(píng)審的原因。他還表示，“科學(xué)的目的是產(chǎn)生知識(shí)，科學(xué)家應(yīng)該制造一些其他人可以采用和作為他人研究基石的東西。”
當(dāng)然，并非每個(gè)人都同意這種批判。
Facebook的首席人工智能科學(xué)家Yann LeCun擔(dān)心將過多的精力從前沿技術(shù)轉(zhuǎn)移到核心理解上，可能會(huì)減緩創(chuàng)新速度并阻礙人工智能的實(shí)際應(yīng)用。他表示，“這不是煉金術(shù)，而是工程學(xué)，工程學(xué)本就很混亂?！?/span>
Yann LeCun回應(yīng)說，在科學(xué)技術(shù)史上，工程學(xué)上的進(jìn)步幾乎總是先于理論認(rèn)識(shí)：望遠(yuǎn)鏡誕生先于光學(xué)理論，蒸汽機(jī)先于熱力學(xué)，飛機(jī)先于空氣動(dòng)力學(xué)，無線電和數(shù)據(jù)通信先于信息論，計(jì)算機(jī)先于計(jì)算機(jī)科學(xué)。
Ali Rahimi也回應(yīng)了Yann LeCun對(duì)他的批評(píng)，感興趣的話可以看看Reddit上關(guān)于煉金術(shù)問題的爭(zhēng)論（鏈接內(nèi)含Ali Rahimi在2017 NIPS上的演講視頻）：
https://www.reddit.com/r/MachineLearning/comments/7hys85/n_ali_rahimis_talk_at_nipsnips_2017_testoftime/
Recht卻認(rèn)為在研究中“有條不紊”和“冒險(xiǎn)精神”的可以達(dá)到平衡：“我們兩個(gè)都需要。我們需要了解哪些地方出現(xiàn)了失敗，以便我們能夠建立可靠的系統(tǒng)，并且我們必須推進(jìn)前沿工作，以便我們可以做出更厲害的系統(tǒng)?！?/span>
聯(lián)系客服
