聽覺是人類和動物所具備的重要感覺功能，是感知和獲取自然界環(huán)境信息的重要方式。隨著時代的進步，人工智能技術(shù)不斷發(fā)展，聽覺同樣稱為機器人模型研究的重點。人類社會的進步離不開語言的發(fā)展，聽覺是語言交流的基礎(chǔ)，是人類語言交流的通道。人類在語言交流中發(fā)出的聲音進入人耳被聽覺系統(tǒng)接收、轉(zhuǎn)化、傳導(dǎo)、綜合處理和加工，最終在大腦中被理解。聽覺系統(tǒng)可以從聲音中分辨出語音的含義及其發(fā)出聲音的物體，并能提取聲源的位置信息，從而辨別聲音發(fā)出的方向，這種聲音辨別能力優(yōu)于所有現(xiàn)有的機器。
研究聽覺神經(jīng)網(wǎng)絡(luò)處理聲紋識別、語音識別、聽覺情感識別、語音問答等任務(wù)時，需要對聽覺系統(tǒng)的結(jié)構(gòu)和功能盡心相近的了解，本文對人腦聽覺系統(tǒng)的結(jié)構(gòu)和功能進行詳細(xì)敘述。
聽覺信號是聲壓隨時間的變化，聽覺系統(tǒng)從耳朵所接收到的刺激出發(fā)，在聲音信號的分解和合成兩方面都取得了卓越的成就，構(gòu)建起一個完整的多功能聽覺世界。
聽覺系統(tǒng)可以分為聽覺外周和聽覺中樞兩個組成部分，這一節(jié)對聽覺系統(tǒng)的基本結(jié)構(gòu)和功能進行介紹。
聽覺外周
聽覺外周部分包括外耳、中耳和內(nèi)耳（如圖1所示），主要負(fù)責(zé)語音信號的接收和傳導(dǎo)，是一個復(fù)雜的換能器，能夠?qū)C械形式的信號轉(zhuǎn)換為傳輸?shù)酱竽X的神經(jīng)沖動，這一過程耳朵完成了聲音振動的感受、聲源位置信息的接收，并根據(jù)環(huán)境和自身狀態(tài)意識的改變進行主動調(diào)節(jié)與反饋。
圖1 人耳的解剖結(jié)構(gòu)[2]
外耳主要包括耳廓和外耳道。耳廓的形狀有助于聲音的聚集，使收集反射的聲音能夠最有效地在外耳道聚集，同時耳廓褶皺有助于進行聲音定位[3]。外耳道起始于耳廓中心，終止于鼓膜，長度大約為 25~35mm。成人的外耳道呈“S”形彎曲，外段向內(nèi)前而微向上，中段向內(nèi)向后向下，內(nèi)段向內(nèi)前微向下。外耳道主要是聲波傳導(dǎo)的通道，可以將聲音信號傳遞到鼓膜，通過共振效應(yīng)，對聲音進行增益，從而將聲音放大。鼓膜介于鼓室與外耳道之間，是一個類似錐形的、頂點朝向中耳內(nèi)部的軟膜，高約9mm、寬約8mm、厚約0。1mm。它可以隨著聲波的振動而振動并產(chǎn)生位移，即具有將聲波信號轉(zhuǎn)換為機械能的作用。
圖2 耳廓結(jié)構(gòu)
中耳由鼓室、咽鼓管、鼓竇和乳突等結(jié)構(gòu)組成。鼓室又稱為中耳腔，是由鼓膜和側(cè)壁形成的密閉腔體，內(nèi)部充滿了空氣，包含有聽骨鏈。聽骨鏈由三塊聽小骨組成，分別為錘骨、砧骨、鐙骨，是人體最小的骨頭；咽鼓管具有維持鼓室內(nèi)氣體壓力平衡的能力。鐙骨具有平面形的底板，與卵圓窗相接，可以將振動傳到內(nèi)耳中的耳蝸內(nèi)。中耳一般被認(rèn)為是傳聲裝置，主要生理功能是實現(xiàn)聲阻抗匹配。耳蝸的輸入阻抗(定義為產(chǎn)生橢圓形窗口單位位移的壓力)大約是自由空氣輸入阻抗的200倍[4]。如果聲音振動直接遇到前庭窗，我們可以計算出大部分能量會被反射，只有2%的能量被傳遞。然而，外耳和中耳大大增加了這種聲音能量傳播效率。傳播過程中的增益效果分兩個階段完成。
首先，外耳可以視為一個方向性靈敏的助聽器，通過共振效應(yīng)來收集耳廓較大區(qū)域內(nèi)的聲壓，從而增加較小鼓膜處的聲壓。主共振的頻率峰值是互補的，因此鼓膜的壓力相對均勻地升高，在2-8 kHz的頻率范圍內(nèi)升高15-20 dB，傳輸也同樣升高。然后，中耳主要通過兩種阻抗匹配機制增加振動壓強：（1）面積比機制：最大的因素來自于前庭窗中鼓膜面積與鐙骨底板面積之比，這兩部分的面積分別是60平方毫米和3。2平方毫米，前庭窗的壓力增加了18。75倍。（2）杠桿作用：錘骨臂(即鼓膜凸)比鐙骨臂長2.1倍[5]。
內(nèi)耳包括感受聲音信息的耳蝸和感受位置信息的前庭器官。其中，內(nèi)耳中的耳蝸，是聽覺外周最重要的一個部分。作為人類聽覺系統(tǒng)的感受器，耳蝸的重要作用在于它實現(xiàn)了聲波與神經(jīng)沖動的換能過程，將聲音的振動信號轉(zhuǎn)換為大腦可以感受和處理的神經(jīng)脈沖信號。同時耳蝸還起機械性頻率分析器的作用。
人的耳蝸形狀類似于蝸牛，是一個充滿液體的螺旋狀管。該螺旋狀管繞中間的蝸軸2。5~2。75圈盤旋而成，總寬度為1厘米，高5毫米。耳蝸管被軟組織分成3個充滿液體的部分：前庭階、中階和鼓階（如圖3）。3個部分在耳蝸內(nèi)圍繞著蝸軸一起旋轉(zhuǎn)， 沿耳蝸卷曲方向平行排列，包括聽神經(jīng)和許多血管。耳蝸的基部有兩個膜性窗口，分別為卵圓窗和圓窗。前庭階和鼓階分別終止于蝸底的卵圓窗和圓窗。前庭階和鼓階充滿外淋巴液，在蝸頂有一開口（蝸孔）將二者彼此連通。中階是一個盲管，將前庭階和鼓階分隔開，其內(nèi)部充滿內(nèi)淋巴液，在蝸頂處關(guān)閉。中階和鼓階之間的隔膜狀結(jié)構(gòu)稱為基底膜，其上有毛細(xì)胞、神經(jīng)終末等組成的神經(jīng)感受器。分隔前庭階和中階的膜狀結(jié)構(gòu)稱為前庭膜。
圖3 前庭階、中階和鼓階解剖結(jié)構(gòu)
含有聽覺感受神經(jīng)元的科蒂氏器官（如圖4）位于基底膜上，蓋膜懸于科蒂氏器官之上。耳蝸毛細(xì)胞是聽覺感受器細(xì)胞，位于基底膜上的科蒂氏器官內(nèi)。毛細(xì)胞是上皮細(xì)胞的變種，其頂端有毛（靜纖毛）伸出，這些纖毛與覆蓋其上的輔助結(jié)構(gòu)相靠近或接觸。毛細(xì)胞的基底部與聽神經(jīng)軸突遠(yuǎn)端形成軸突連接。受到聲音振動的刺激時，聽覺毛細(xì)胞的膜電位會發(fā)生變化，然后釋放神經(jīng)遞質(zhì)，進而使得支配毛細(xì)胞的聽覺神經(jīng)產(chǎn)生興奮和沖動，將聲音信息傳到聽覺中樞。耳蝸毛細(xì)胞分為外毛細(xì)胞和內(nèi)毛細(xì)胞。毛細(xì)胞被支持細(xì)胞維持在一定位置。哺乳類動物的外毛細(xì)胞沿著蝸管方向排列成三排，而內(nèi)毛細(xì)胞排列為一排。 人類的外毛細(xì)胞數(shù)約為12000個，內(nèi)毛細(xì)胞數(shù)約為3500個。
圖4 科爾蒂（Corti）器官的橫截面，出現(xiàn)在基部轉(zhuǎn)彎處，顯示出網(wǎng)狀薄層中的毛細(xì)胞，其束成束的纖毛延伸到保護膜。Deiters的細(xì)胞將延伸部分向上延伸至網(wǎng)狀層，在外部毛細(xì)胞周圍的空間中運行[9]。
圖5 Corti的人體器官：從耳蝸中轉(zhuǎn)（500 Hz 處）的斷面掃描電子顯微照片。在該標(biāo)本中，內(nèi)部柱狀 細(xì)胞（箭頭）已部分塌陷，并且蓋膜從網(wǎng)狀薄層縮小。 有四排外部毛細(xì)胞（OHC）[10].
到達內(nèi)耳的聲波使基底膜運動，從而也使Corti 器官運動（如圖6），這就在蓋膜和毛細(xì)胞頂端之間引起剪切運動，這一運動轉(zhuǎn)而使靜纖毛移位，感覺毛的彎曲誘發(fā)一串電活動，導(dǎo)致感受器細(xì)胞基底部化學(xué)神經(jīng)遞質(zhì)的釋放和聽神經(jīng)動作電位的發(fā)生。內(nèi)毛細(xì)胞和外毛細(xì)胞形成突觸連接到聽神經(jīng)纖維，將聲音由聽覺外周傳入到聽覺中樞。內(nèi)毛細(xì)胞的數(shù)量雖少，但受95%的聽覺傳入神經(jīng)纖維的支配，每個內(nèi)毛細(xì)胞受16~20 根傳入纖維的支配。而外毛細(xì)胞主要受起源于聽覺腦子的上橄欖核的傳出神經(jīng)纖維的支配。因此，根據(jù)這類解剖學(xué)上的特征，可以得出結(jié)論：內(nèi)毛細(xì)胞主要完成聽覺信息向中樞的傳遞，而外毛細(xì)胞主要參與聽覺信號轉(zhuǎn)換中的離心調(diào)節(jié)和主動過程，決定聽覺靈敏度和精細(xì)辨別能力。
在兩種類型的細(xì)胞中，前向轉(zhuǎn)導(dǎo)在內(nèi)毛細(xì)胞和外毛細(xì)胞中的發(fā)生基本相同。每個毛細(xì)胞頂表面上的大量靜纖毛（每個毛細(xì)胞60 – 120個）通過尖端連接的細(xì)纖維相互連接，這些細(xì)纖維 從束中較短的靜纖毛的尖端中出來，向上延伸以連接相鄰的較高的靜纖毛。沿興奮性方向的靜纖毛偏轉(zhuǎn)會拉伸末端連接，通過直接的機械作用將機械換能器通道拉開[6][7]。機械換能器通道被認(rèn)為位于每個束中較短的靜纖毛的末端，因此將與每個末端連接的底端相關(guān)聯(lián)[8]。外毛細(xì)胞因其在反向轉(zhuǎn)導(dǎo)中具有特殊的機械作用而具有專門化的特征，它具有相對較硬的靜纖毛束和活動的細(xì)胞體。 內(nèi)毛細(xì)胞具有更直接的功能，充當(dāng)簡單的感覺受體細(xì)胞。在這里，由機械換能器通道的打開和關(guān)閉引起的細(xì)胞內(nèi)電位的變化改變了細(xì)胞基端神經(jīng)遞質(zhì)的釋放，從而激活了聽神經(jīng)的纖維。
圖6 基底膜的向上運動造成的纖毛傾斜
基底膜的機械振動模式在很大程度上決定了聽覺反應(yīng)的特性。聲音振動首先由中耳的聽骨鏈通過卵圓窗傳入耳蝸，在前庭階和鼓階之間形成機械壓力差，使得整個基底膜上下振動（如圖7）。
圖7 基底膜振動機理
人類的基底膜在耳蝸的基部的寬度為0.08~0.16 mm，向耳蝸的頂部旋轉(zhuǎn)盤旋過程中逐漸變寬，最終達到0. 423~0. 651 mm. 同時基底膜耳蝸基部較大的韌度，在頂部較小，進而基底膜和Corti 器官的質(zhì)量在耳蝸的基部較小而在頂部較大?；啄ぴ诙伝亢晚敳康倪@種差異，決定了耳蝸基部和頂部的最佳響應(yīng)頻率的不同。
通過研究表明，基底膜的運動可以用行波理論[9][10]來描述，即沿著基底膜分布著不同的特征頻率，其值是由基底膜上各個位點之間的參數(shù)值決定的。有關(guān)基底膜振動形式的研究始于Békésy對動物和人尸體的觀察，他在光鏡下觀察到，聲音引起基底膜振動從耳蝸基部開始，逐漸向蝸頂傳播，此即行波（如圖7）。在行波的傳播過程中，振幅逐漸增大，到達某一位置后便迅速衰減。行波在基底膜上傳播的距離以及振幅最大點的位置均與刺激聲的頻率有關(guān)：刺激聲頻率越高，行波傳播距離越短，振幅最大點位置越靠近蝸底。這種聲音頻率與基底膜部位之間的對應(yīng)關(guān)系稱為頻率組織結(jié)構(gòu)。后來一些先進的測量技術(shù)進一步證實了Békésy的上述觀察（如圖8）。
圖8 （A）基底膜的行波，首先由貝凱西（Békésy）證明。低頻刺激的行波在耳蝸中更尖銳。顯示了連續(xù)時間（1、2、3）處的波；這些波在包絡(luò)線（虛線）內(nèi)頂峰移動，該包絡(luò)線對于恒定頻率的音調(diào)保持恒定。
（B）當(dāng)前的實驗表明，在最佳狀態(tài)下，耳蝸的行波要比Békésy所示的大得多，并且波峰要尖得多。如果以與A部分中的波浪相同的比例繪制行進波，則該行波將比B部分中所示的波窄5倍，高30倍。摘自Pickles（2013）。
聽覺中樞
來自耳蝸聽覺感受器的信號經(jīng)聽神經(jīng)纖維向聽覺中樞傳導(dǎo)。聽覺中樞各個核團的結(jié)構(gòu)及其相互間的連接極為復(fù)雜，主要核團如下：
耳蝸核：位于延髓，是哺乳動物第一級聽覺中樞。在耳蝸核中，神經(jīng)元通過連接的聽神經(jīng)形成對聽覺環(huán)境的多種平行的表達方式。來自聽神經(jīng)的傳入纖維全部終止于同側(cè)的耳蝸核。耳蝸核主要包含三個亞區(qū)：前腹側(cè)耳蝸核（AVCN）、后腹側(cè)耳蝸核（PVCN）和背側(cè)耳蝸核（OCN）。腹側(cè)耳蝸核包括四種主要的神經(jīng)元：球狀叢細(xì)胞、球形叢細(xì)胞、屋狀細(xì)胞和章魚細(xì)胞。球狀叢細(xì)胞主要分布在腹側(cè)耳蝸核的前端，章魚細(xì)胞分布在尾端，星狀細(xì)胞和球形叢細(xì)胞集中在中央位置。腹側(cè)耳蝸核中的球狀叢細(xì)胞和球形叢細(xì)胞主要的投射到上橄欖核、外側(cè)丘系核以及下丘。背側(cè)耳蝸核的結(jié)構(gòu)較腹側(cè)耳蝸核復(fù)雜，并有顯著的層狀結(jié)構(gòu)特征.背’因耳蝸核主要的投射細(xì)胞是在核團表面呈規(guī)則排列的梭狀細(xì)胞和深部的巨細(xì)胞。
圖9 貓的耳蝸核中細(xì)胞類型的分布
圖10 聽神經(jīng)及耳蝸核細(xì)胞的鎖相特征
上橄欖復(fù)合體：包括外側(cè)上橄欖核、內(nèi)側(cè)上橄欖核和內(nèi)側(cè)斜方體核。
圖11 集中哺乳動物的上橄欖復(fù)合體的主要核團在冠狀切面上的分布
外側(cè)丘系：包含大量的上行和下行聽覺通路的神經(jīng)纖維。其中上行的纖維由耳蝸核、上橄欖復(fù)合體以及外側(cè)丘系內(nèi)部核團中神經(jīng)元的軸突組成。這些軸突絕大部分終止于下丘。但也有相當(dāng)數(shù)量的從外側(cè)丘系核發(fā)出的神經(jīng)纖維經(jīng)過下丘而終止子上丘或內(nèi)側(cè)膝狀體。在外側(cè)丘系的神經(jīng)纖維當(dāng)中，有一條細(xì)胞群帶從外側(cè)上橄欖核一直伸展到下丘腹側(cè)，形成了三個明顯的外側(cè)丘系核團. 根據(jù)在外側(cè)丘系的位置、細(xì)胞結(jié)構(gòu)及神經(jīng)連接的差異，這三個外側(cè)丘系核團分別被稱為外側(cè)丘系腹側(cè)核、外側(cè)丘系中間核和外側(cè)丘系背側(cè)核。
下丘：包括中央核、中央旁核和外核。中央核是由碟形神經(jīng)元和多極細(xì)胞所形成的層狀結(jié)構(gòu)。幾乎所有腦子聽覺核團對中央核的投射都具有音頻拓?fù)浣Y(jié)構(gòu)。這表明來自于多個聽覺腦子結(jié)構(gòu)的神經(jīng)上行傳人按照特征頻率匯集在中央核內(nèi)并被高度整合。
圖12 聽覺中腦下丘中的按特征頻率分布的層狀結(jié)構(gòu)
內(nèi)側(cè)膝狀體：聽覺丘腦的最主要的結(jié)構(gòu)，它包含腹側(cè)區(qū)、內(nèi)側(cè)區(qū)和背側(cè)區(qū)。腹側(cè)區(qū)是內(nèi)側(cè)膝狀體主要的聽覺信號中轉(zhuǎn)部位，內(nèi)側(cè)區(qū)接受下丘的投射，還接受軀體感覺系統(tǒng)的傳人， 與聽覺、情緒、學(xué)習(xí)有密切的關(guān)系.背側(cè)區(qū)則是顯著的多感覺結(jié)構(gòu)，它也接受軀體感覺、視覺的信息傳入。
圖13 貓內(nèi)側(cè)膝狀體腹側(cè)區(qū)的一個頻率段
聽覺大腦皮質(zhì)：聽覺神經(jīng)系統(tǒng)中最高的一級信息處理中心，進一步分為初級區(qū)（AI）和若干高級區(qū)。在猴類中，文獻將聽皮質(zhì)分為"核心區(qū)"、“帶區(qū)"和"外帶區(qū)”，其中"核心區(qū)"包括AI 、R和RT 三個區(qū)域；“帶區(qū)”包括若干個環(huán)繞核心區(qū)的區(qū)域；“外帶區(qū)”由數(shù)個在帶區(qū)外側(cè)的區(qū)城組成，如圖13、14。
圖14 猴類聽皮質(zhì)區(qū)域分布圖
圖15 貓聽皮質(zhì)區(qū)域分布圖
連接性研究表明，聽覺皮層的這些區(qū)域（核心區(qū)、帶區(qū)和外帶區(qū)）與其最近的鄰域是連續(xù)相連的，但與被進一步移除的區(qū)域不相連。因此，雖然核心區(qū)與帶區(qū)相互連接，帶區(qū)與外帶區(qū)相互連接，但核心區(qū)域與外帶區(qū)帶之間沒有直接投影。從聽覺皮層外側(cè)的外帶區(qū)到高階皮層結(jié)構(gòu)的投射定義了聽覺背（空間）處理流和腹（非空間）處理流。
參考文獻：
[1] Barr J Rich N M. The anatomist Andreas Vesalius at 500 years old[J]. Journal of Vascular Surgery 2015 ，61(5) 1370~1374.
[2] Bear M. Connors B . Paradiso M N Neuroscience: Exploring the Brain. 2nd ed. New York: üppincott Williams &. Wilkins lnc. 2001
[3] 王建軍. 神經(jīng)科學(xué)——探索腦（第2版）. 高等教育出版社.
[4] Nakajima HH, Dong W, Olson ES, et al (2009). Differential intracochlear sound pressure measurements in normal human temporal
[5] Auditory Pathways: Anatomy and Physiology
[6] Corey DP, Hudspeth AJ (1983). Kinetics of the receptor current in bullfrog saccular hair cells. J Neurosci 3: 962-76.
[7] Ryan A , Dallos P. Physiology of the cochlea[M]. In : Hearing Disorders , Northern J ed , Boston : Little Brown , 1984.
[8] Oghalai J S. The cochlear amplifier : augmentation of the traveling wave within the inner ear[J]. Current Opinion in Otolaryngology & Head & Neck Surgery , 2004 , 12(5) : 431~438.
[9] Pickles JO (2012). An Introduction to the Physiology of Hearing, 4th edition. Brill, Leiden.
[10] Glueckert R, Pfaller K, Kinnefors A, et al (2005). High resolution scanning electron microscopy of the human organ of Corti. A study using freshly fixed surgical specimens. Hear Res 199: 40-56.
