人工神經(jīng)網(wǎng)絡(luò)
人腦具有高度智能的復(fù)雜系統(tǒng),它不必采用繁復(fù)的數(shù)字計(jì)算和邏輯運(yùn)算,卻能靈活處理各種復(fù)雜的,不精確的和模糊的信息。人腦的信息處理機(jī)制極其復(fù)雜,從結(jié)構(gòu)上看它是包含有140億神經(jīng)細(xì)胞的大規(guī)模神經(jīng)網(wǎng)絡(luò)。單個(gè)神經(jīng)元細(xì)胞的工作速度并不高(毫秒級(jí)),但它通過超并行處理使得整個(gè)系統(tǒng)實(shí)現(xiàn)處理的高速性和信息表現(xiàn)的多樣性。
每個(gè)神經(jīng)元都包括三個(gè)主要部分:樹突、細(xì)胞體和軸突。樹突的作用是向四方收集由其他神經(jīng)細(xì)胞傳來(lái)的信息。細(xì)胞體是神經(jīng)元接受與處理信息的部件。軸突的功能是傳出從細(xì)胞體送來(lái)的信息。在兩個(gè)神經(jīng)細(xì)胞之間的相互連接觸點(diǎn)稱為突觸。
每個(gè)神經(jīng)元具有興奮和抑制兩種狀態(tài),只有當(dāng)所有外來(lái)刺激(輸入)作用之和超過某一閥值后,神經(jīng)元由抑制變?yōu)榕d奮,并輸出電脈沖。神經(jīng)元之間連接的強(qiáng)弱可隨外部的激勵(lì)信號(hào)自適應(yīng)地變化。這就是一般神經(jīng)網(wǎng)絡(luò)建模的生物依據(jù)。
人工神經(jīng)網(wǎng)絡(luò)(Artificial Neutral Networks,簡(jiǎn)稱ANN)是由大量簡(jiǎn)單的基本元件——神經(jīng)元相互連接,模擬人的大腦神經(jīng)處理信息的方式,進(jìn)行信息并行處理和非線性轉(zhuǎn)換的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)的基本單元的神經(jīng)元模型,它有四個(gè)基本要素:
(1)一個(gè)求和單元,用于求取各輸入信號(hào)的加權(quán)和(線性組合)。
(2)每個(gè)神經(jīng)元有一個(gè)閾值。
(3)一組連接(對(duì)應(yīng)于生物神經(jīng)元的突觸),連接強(qiáng)度有個(gè)連接上的權(quán)值表示,權(quán)值為正表示激活,為負(fù)表示抑制。
(4)一個(gè)激活函數(shù),起映射作用并將神經(jīng)元輸出幅度限制在一定范圍內(nèi)。
首先構(gòu)筑合適的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),固定處理單元(神經(jīng)元)的數(shù)目,然后通過信息樣本對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,不斷改變處理單元間的連接強(qiáng)度對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,使 其具有人的大腦的記憶、辨識(shí)能力,完成各種信息的處理功能。人工神經(jīng)網(wǎng)絡(luò)具有良好的自學(xué)習(xí)、自適應(yīng)、聯(lián)想記憶、并行處理和非線形轉(zhuǎn)換的能力,避免了復(fù)雜數(shù) 學(xué)推導(dǎo),在樣本缺損和參數(shù)漂移的情況下,仍能保證穩(wěn)定的輸出。神經(jīng)網(wǎng)絡(luò)除在模式識(shí)別、非線性動(dòng)態(tài)處理及自動(dòng)控制等領(lǐng)域顯示出極強(qiáng)的生命力外,還在預(yù)測(cè)、評(píng) 價(jià)等方面取得了很好的應(yīng)用效果。
神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則可以粗略分成3類,這些類別分別如下:
第一類學(xué)習(xí)規(guī)則稱相關(guān)學(xué)習(xí)規(guī)則。這種規(guī)則只根據(jù)連接間的激活水平改變權(quán)系數(shù)。常用于自聯(lián)想網(wǎng)絡(luò),如Hopfield網(wǎng)絡(luò)。
第二類學(xué)習(xí)規(guī)則稱糾錯(cuò)學(xué)習(xí)規(guī)則。這種規(guī)則根據(jù)輸出節(jié)點(diǎn)的外部反饋改變權(quán)系數(shù)。在方法上它和梯度下降法等效,按局部改善最大的方向一步步進(jìn)行優(yōu)化,從而最終找到全局優(yōu)化值。感知器學(xué)習(xí)就采用這種糾錯(cuò)學(xué)習(xí)規(guī)則.例如BP算法。用于統(tǒng)計(jì)性算法的模擬退火算法也屬于這種學(xué)習(xí)規(guī)則。
第三類學(xué)習(xí)規(guī)則稱無(wú)教師學(xué)習(xí)規(guī)則。它是一種對(duì)輸入測(cè)檢進(jìn)行自適應(yīng)的學(xué)習(xí)規(guī)則。ART網(wǎng)絡(luò)的自組織學(xué)習(xí)算法即屬于這一類。
人工神經(jīng)網(wǎng)絡(luò)的實(shí)質(zhì)反映了輸入轉(zhuǎn)化為輸出的一種數(shù)學(xué)表達(dá)式,這種數(shù)學(xué)關(guān)系是由網(wǎng)絡(luò)的結(jié)構(gòu)確定的。一般而言, ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越, 只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤其對(duì)問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測(cè)等問題,ANN往往是最有利的工具。另一方面, ANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題, 表現(xiàn)出極大的靈活性和自適應(yīng)性。
人工神經(jīng)網(wǎng)絡(luò)模型有許多種,目前應(yīng)用最多的還是Rumelhart等提出誤差反向傳播模型(Error Back Propagation),稱BP模型,采用最小均方差學(xué)習(xí)方式。BP網(wǎng)路需有教師訓(xùn)練。
輸 入的樣本從輸入層經(jīng)過隱單元一層一層進(jìn)行處理,通過所有的隱層之后,則傳向輸出層;在逐層處理的過程中,每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影 響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較,如果現(xiàn)行輸出不等于期望輸出,則進(jìn)入反向傳播過程。反向傳播時(shí),把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回,并 對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改。然后再轉(zhuǎn)向正向傳播過程,隨著模式正向傳播和誤差反向傳播的反復(fù)交替,網(wǎng)絡(luò)得到了記憶訓(xùn)練,當(dāng)網(wǎng)絡(luò)的全局誤差小于給定的值后學(xué)習(xí)終止,即可得到收斂的網(wǎng)絡(luò)和相應(yīng)穩(wěn)定的權(quán)值。網(wǎng)絡(luò)學(xué)習(xí)過程實(shí)際就是建立輸入模式到輸出模式的一個(gè)映射,也就是建立一個(gè)輸入與輸出關(guān)系的數(shù)學(xué)模型.
Xi(t+1)=fi[ui(t+1)]
BP網(wǎng)絡(luò)建模特點(diǎn):
• 非線性映照能力:神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。
• 并行分布處理方式:在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行處理的,這使它具有很強(qiáng)的容錯(cuò)性和很快的處理速度。
• 自學(xué)習(xí)和自適應(yīng)能力:神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí),能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識(shí),記憶于網(wǎng)絡(luò)的權(quán)值中,并具有泛化能力,即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。
• 數(shù)據(jù)融合的能力:神經(jīng)網(wǎng)絡(luò)可以同時(shí)處理定量信息和定性信息,因此它可以利用傳統(tǒng)的工程技術(shù)(數(shù)值運(yùn)算)和人工智能技術(shù)(符號(hào)處理)。
• 多變量系統(tǒng):神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的,對(duì)單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式,不必考慮各子系統(tǒng)間的解耦問題
合理BP網(wǎng)絡(luò)模型是必須在具有合理隱層節(jié)點(diǎn)數(shù)、訓(xùn)練時(shí)沒有發(fā)生“過擬合”現(xiàn)象、求得全局極小點(diǎn)和同時(shí)考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的綜合結(jié)果。聯(lián)系客服