在交換臺(tái)通話（Switchboard conversational）語音識(shí)別標(biāo)準(zhǔn)測試中誤字率方面的進(jìn)展。這個(gè)數(shù)據(jù)集采集于 2000 年，它由四十個(gè)電話通話組成，這些通話分別屬于隨機(jī)的兩個(gè)以英語為母語的人。
僅僅基于交換臺(tái)通話的結(jié)果就聲稱已經(jīng)達(dá)到人類水準(zhǔn)的語音識(shí)別，就如同在某個(gè)天氣晴朗、沒有車流的小鎮(zhèn)成功測試自動(dòng)駕駛就聲稱已經(jīng)達(dá)到人類駕駛水準(zhǔn)一樣。近期語音識(shí)別領(lǐng)域的發(fā)展確實(shí)非常震撼。但是，關(guān)于那些聲稱達(dá)到人類水準(zhǔn)的說法就太寬泛了。下面是一些還有待提升的領(lǐng)域。
語音識(shí)別中最明顯的一個(gè)缺陷就是對(duì)口音 [1] 和背景噪聲的處理。最直接的原因是大部分的訓(xùn)練數(shù)據(jù)都是高信噪比、美式口音的英語。比如在交換臺(tái)通話的訓(xùn)練和測試數(shù)據(jù)集中只有母語為英語的通話者（大多數(shù)為美國人），并且背景噪聲很少。
而僅憑訓(xùn)練數(shù)據(jù)自身是無法解決這個(gè)問題的。在許許多多的語言中又擁有著大量的方言和口音，我們不可能針對(duì)所有的情況收集到足夠的加注數(shù)據(jù)。單是為美式口音英語構(gòu)建一個(gè)高質(zhì)量的語音識(shí)別器就需要 5000 小時(shí)以上的轉(zhuǎn)錄音頻。
人工轉(zhuǎn)錄和百度的 Deep Speech 2 模型在各類語音中的比較 [2] 。注意人工在轉(zhuǎn)錄非美式口音時(shí)總表現(xiàn)得更差，這可能要?dú)w咎于轉(zhuǎn)錄員群體中的美國偏見。我更期望為各地區(qū)安排本土的轉(zhuǎn)錄員，讓地區(qū)口音的錯(cuò)誤率更低。
關(guān)于背景噪聲，像在移動(dòng)的汽車中信噪比（SRN）低至 -5dB 的情況并不罕見。在這樣的環(huán)境中人們并非難以交流，而另一方面，噪聲環(huán)境中語音識(shí)別能力卻急速下降。上圖中可以看到從高信噪比到低信噪比，人與模型只見的錯(cuò)誤率差距急劇擴(kuò)大。
通常語音識(shí)別系統(tǒng)的實(shí)際目標(biāo)并不是誤字率。我們更關(guān)心的是語義錯(cuò)誤率，就是被誤解的那部分話語。
舉個(gè)語義錯(cuò)誤的例子，比如某人說“l(fā)et’s meet up Tuesday”，但語音識(shí)別預(yù)測為“l(fā)et’s meet up today”。我們也可能在單詞錯(cuò)誤的情況下保持語義正確，比如語音識(shí)別器漏掉了“up”而預(yù)測為“l(fā)et’s meet Tuesday”，這樣話語的語義是不變的。
在使用誤字率作為指標(biāo)時(shí)必須要小心。舉一個(gè)最壞的例子，5% 的誤字率大概相當(dāng)于每 20 個(gè)單詞漏掉 1 個(gè)。如果每個(gè)語句有 20 個(gè)單詞（大約是英語語句平均值），那么語句錯(cuò)誤率可能高達(dá) 100%。希望錯(cuò)誤的單詞不會(huì)改變句子的語義，否則即便只有 5% 的誤字率也可能會(huì)導(dǎo)致每個(gè)句子都被誤讀。
將模型與人工進(jìn)行比較時(shí)的重點(diǎn)是查找錯(cuò)誤的本質(zhì)，而不僅僅是將誤字率作為一個(gè)決定性的數(shù)字。在我的經(jīng)歷里，人工轉(zhuǎn)錄會(huì)比語音識(shí)別更少產(chǎn)生極端語義錯(cuò)誤。
最近微軟的研究人員將他們的人工級(jí)語音識(shí)別器的錯(cuò)誤與人類進(jìn)行了比較 [3]。他們發(fā)現(xiàn)的一個(gè)差異是該模型比人更頻繁地混淆“uh”和“uh huh”。而這兩條術(shù)語的語義大不相同：“uh”只是個(gè)填充詞，而“uh huh”是一個(gè)反向確認(rèn)。這個(gè)模型和人出現(xiàn)了許多相同類型的錯(cuò)誤。
由于每個(gè)通話者都由單獨(dú)的麥克風(fēng)進(jìn)行記錄，所以交換臺(tái)通話任務(wù)也變得更加簡單。在同一個(gè)音頻流里沒有多個(gè)通話者的重疊。而另一方面，人類卻可以理解有時(shí)同時(shí)發(fā)言的多個(gè)會(huì)話者。
一個(gè)好的會(huì)話語音識(shí)別器必須能夠根據(jù)誰在說話對(duì)音頻進(jìn)行劃分（Diarisation），還應(yīng)該能弄清重疊的會(huì)話（聲源分離）。它不只在每個(gè)會(huì)話者嘴邊都有麥克風(fēng)的情況下可行，進(jìn)一步才能良好地應(yīng)對(duì)發(fā)生在任何地方的會(huì)話。
口音和背景噪聲只是語音識(shí)別有待強(qiáng)化的兩個(gè)方面。這還有一些其他的：
來自聲環(huán)境變化的混響
硬件造成的偽影
音頻的編解碼器和壓縮偽影
采樣率
會(huì)話者的年齡
大多數(shù)人甚至都不會(huì)注意 mp3 和 wav 文件的區(qū)別。但在聲稱達(dá)到人類水準(zhǔn)的性能之前，語音識(shí)別還需要進(jìn)一步增強(qiáng)對(duì)文件來源多樣化的處理。
你會(huì)注意到像交換臺(tái)這樣人類水準(zhǔn)誤字率的基準(zhǔn)實(shí)際上是非常高的。如果你在跟一個(gè)朋友交流時(shí)，他每 20 個(gè)單詞就誤解其中一個(gè)，溝通會(huì)很艱難。
一個(gè)原因在于這樣的評(píng)估是上下文無關(guān)的。而實(shí)際生活中我們會(huì)使用許多其他的線索來輔助理解別人在說什么。列舉幾個(gè)人類使用上下文而語音識(shí)別器沒有的情況：
歷史會(huì)話和討論過的話題
說話人的視覺暗示，包括面部表情和嘴唇動(dòng)作
關(guān)于會(huì)話者的先驗(yàn)知識(shí)
目前，Android 的語音識(shí)別器已經(jīng)掌握了你的聯(lián)系人列表，它能識(shí)別出你朋友的名字 [4]。地圖產(chǎn)品的語音搜索則通過地理定位縮小你想要導(dǎo)航的興趣點(diǎn)范圍 [5]。
當(dāng)加入這些信號(hào)時(shí)，ASR 系統(tǒng)肯定會(huì)有所提高。不過，關(guān)于可用的上下文類型以及如何使用它，我們才剛剛觸及皮毛。
在會(huì)話語音方面的最新進(jìn)展都還不能展開部署。如果要解決新語音算法的部署，需要考慮延遲和計(jì)算量這兩個(gè)方面。這兩者之間是有關(guān)聯(lián)的，算法計(jì)算量的增加通常都導(dǎo)致延遲增加。不過簡單起見，我將它們分開討論。
延遲：關(guān)于延遲，這里我指的是用戶說完到轉(zhuǎn)錄完成的時(shí)間。低延遲是 ASR 中一個(gè)普遍的產(chǎn)品約束，它明顯影響到用戶體驗(yàn)。對(duì)于 ASR 系統(tǒng)來說，10 毫秒的延遲要求并不少見。這聽起來可能有點(diǎn)極端，但是請(qǐng)記住文字轉(zhuǎn)錄通常只是一系列復(fù)雜計(jì)算的第一步。例如在語音搜索中，實(shí)際的網(wǎng)絡(luò)搜索只能在語音識(shí)別之后進(jìn)行。
一個(gè)關(guān)于延遲方面難以改進(jìn)的例子是雙向循環(huán)層。當(dāng)前所有最先進(jìn)的會(huì)話語音識(shí)別都在使用它。其問題在于我們無法在第一層計(jì)算任何東西，而必須要等到用戶說完。所以這里的延遲跟話語時(shí)長有關(guān)。
上圖：只有一個(gè)前向循環(huán)，可以在轉(zhuǎn)錄時(shí)進(jìn)行計(jì)算。
下圖：在雙向循環(huán)的情況下，必須要等待全部話語說完才能計(jì)算轉(zhuǎn)錄。
在語音識(shí)別中如何有效結(jié)合未來信息仍然是一個(gè)開放問題。
計(jì)算：轉(zhuǎn)錄語音所需的計(jì)算能力是一個(gè)經(jīng)濟(jì)約束。我們必須考慮語音識(shí)別器每次精度改進(jìn)的性價(jià)比。如果改進(jìn)達(dá)不到一個(gè)經(jīng)濟(jì)門檻，那它就無法部署。
一個(gè)從未部署的持續(xù)改進(jìn)的典型案例就是集成。1% 或者 2% 的誤差減少很少值得 2-8 倍的計(jì)算量增長。新一代 RNN 語言模型也屬于這一類，因?yàn)樗鼈冇迷谑阉鲿r(shí)代價(jià)昂貴，不過預(yù)計(jì)未來會(huì)有所改變。
需要說明的是，我并不認(rèn)為研究如何在巨大計(jì)算成本上提高精度是無用的。我們已經(jīng)看到過“先慢而準(zhǔn)，然后提速”模式的成功。要提的一點(diǎn)是在改進(jìn)到足夠快之前，它還是不可用的。
語音識(shí)別領(lǐng)域仍然存在許多開放性和挑戰(zhàn)性的問題：
在新地區(qū)、口音、遠(yuǎn)場和低信噪比語音方面的能力擴(kuò)展
在識(shí)別過程中引入更多的上下文
Diarisation 和聲源分離
評(píng)價(jià)語音識(shí)別的語義錯(cuò)誤率和創(chuàng)新方法
超低延遲和高效推理
我期待著今后 5 年在以上以及其他方面取得的進(jìn)展。
感謝 @mrhannun 的有效反饋和編輯。
[1] 只要問問有蘇格蘭口音的人就可以。
[2] 這些結(jié)果來源于 Amodei 等人，2016。帶口音的語音來自 VoxForge，無噪和有噪的語音出自第三屆 CHiME 挑戰(zhàn)賽。
[3] Stolcke and Droppo, 2017 。
[4] 請(qǐng)看 Aleksic 等人（2015）關(guān)于如何提高聯(lián)系人姓名的識(shí)別的例子。
[5] 請(qǐng)看 Chelba 等人（2015）關(guān)于如何結(jié)合說話人位置的例子。
查看英文原文：
https://awni.github.io/speech-recognition/
聯(lián)系客服
