神經(jīng)網(wǎng)絡(luò)概念與適合領(lǐng)域
神經(jīng)網(wǎng)絡(luò)最早的研究是 40 年代心理學(xué)家 Mcculloch 和數(shù)學(xué)家 Pitts 合作提出的 ，他們提出的MP模型拉開了神經(jīng)網(wǎng)絡(luò)研究的序幕。
神經(jīng)網(wǎng)絡(luò)的發(fā)展大致經(jīng)過 3 個(gè)階段：1947～1969 年為初期，在這期間科學(xué)家們提出了許多神經(jīng)元模型和學(xué)習(xí)規(guī)則，如 MP 模型、HEBB 學(xué)習(xí)規(guī)則和感知器等；60 年代末期至 80 年代中期，神經(jīng)網(wǎng)絡(luò)控制與整個(gè)神經(jīng)網(wǎng)絡(luò)研究一樣，處于低潮。在此期間，科學(xué)家們做了大量的工作，如 Hopfield 教授對網(wǎng)絡(luò)引入能量函數(shù)的概念，給出了網(wǎng)絡(luò)的穩(wěn)定性判據(jù)，提出了用于聯(lián)想記憶和優(yōu)化計(jì)算的途徑。1984年，Hiton 教授提出 Bol tzman 機(jī)模型；1986年 Kumelhart 等人提出誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡稱 BP 網(wǎng)絡(luò)。目前，BP網(wǎng)絡(luò)已成為廣泛使用的網(wǎng)絡(luò)。1987年至今為發(fā)展期，在此期間，神經(jīng)網(wǎng)絡(luò)受到國際重視，各個(gè)國家都展開研究，形成神經(jīng)網(wǎng)絡(luò)發(fā)展的另一個(gè)高潮。
人工神經(jīng)網(wǎng)絡(luò)（ANN）受到生物學(xué)的啟發(fā)是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似，它從結(jié)構(gòu)、實(shí)現(xiàn)機(jī)理和功能上模擬生物神經(jīng)網(wǎng)絡(luò)。從系統(tǒng)觀點(diǎn)看，人工神經(jīng)元網(wǎng)絡(luò)是由大量神經(jīng)元通過極其豐富和完善的連接而構(gòu)成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)，因?yàn)樯锏膶W(xué)習(xí)系統(tǒng)是由相互連接的神經(jīng)元組成的異常復(fù)雜的網(wǎng)絡(luò)，其中每一個(gè)神經(jīng)元單元有一定數(shù)量的實(shí)值輸入，并產(chǎn)生單一的實(shí)數(shù)值輸出。1960 年威德羅和霍夫率先把神經(jīng)網(wǎng)絡(luò)用于自動(dòng)控制研究。神經(jīng)網(wǎng)絡(luò)以其獨(dú)特的結(jié)構(gòu)和處理信息的方法，在許多實(shí)際應(yīng)用領(lǐng)域中取得了顯著的成效，主要應(yīng)用如下：自動(dòng)控制領(lǐng)域、處理組合優(yōu)化問題、模式識別、圖像處理、傳感器信號處理、機(jī)器人控制、信號處理、衛(wèi)生保健、醫(yī)療、經(jīng)濟(jì)、化工領(lǐng) 域、焊接領(lǐng)域、地理領(lǐng)域、數(shù)據(jù)挖掘、電力系統(tǒng)、交通、軍事、礦業(yè)、農(nóng)業(yè)和氣象等領(lǐng)域。
神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)
人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元模型構(gòu)成，這種由許多神經(jīng)元組成的信息處理網(wǎng)絡(luò)具有并行分布結(jié)構(gòu)。每個(gè)神經(jīng)元具有單一輸出，并且能夠與其它神經(jīng)元連接；存在許多（多重）輸出連接方法，每種連接方法對應(yīng)一個(gè)連接權(quán)系數(shù)?？砂?ANN 看成是以處理單元 PE(processing element) 為節(jié)點(diǎn)，用加權(quán)有向弧(鏈)相互連接而成的有向圖。令來自其它處理單元(神經(jīng)元)i的信息為Xi，它們與本處理單元的互相作用強(qiáng)度為 Wi，i=0,1,…，n-1，處理單元的內(nèi)部閾值為 θ。那么本神經(jīng)元的輸入為：
而處理單元的輸出為：
式中，xi為第 i 個(gè)元素的輸入，wi 為第 i 個(gè)元素與本處理單元的互聯(lián)權(quán)重。f 稱為激發(fā)函數(shù)(activation function)或作用函數(shù)。它決定節(jié)點(diǎn)(神經(jīng)元)的輸出。該輸出為 1 或 0 取決于其輸入之和大于或小于內(nèi)部閾值 θ。
下圖所示神經(jīng)元單元由多個(gè)輸入Xi，i=1,2,...,n和一個(gè)輸出y組成。中間狀態(tài)由輸入信號的權(quán)和表示，而輸出為：
神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)被設(shè)計(jì)完成，有了輸入、輸出參數(shù)后，我們就要對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練有包括感知器訓(xùn)練、delta 規(guī)則訓(xùn)練和反向傳播算法等訓(xùn)練，其中感知器訓(xùn)練是基礎(chǔ)。
理解神經(jīng)網(wǎng)絡(luò)的第一步是從對抽象生物神經(jīng)開始,本文用到的人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)是以被稱為感知器的單元為基礎(chǔ)，如圖所示。感知器以一個(gè)實(shí)數(shù)值向量作為輸入，計(jì)算這些輸入的線性組合，如果結(jié)果大于某個(gè)閾值，就輸出 1，否則輸出 -1，如果 x 從 1 到 n，則感知器計(jì)算公式如下：
其中每個(gè) wi 是一個(gè)實(shí)數(shù)常量，或叫做權(quán)值，用來決定輸入 xi 對感知器輸出的貢獻(xiàn)率。特別地，-w0是閾值。
盡管當(dāng)訓(xùn)練樣例線性可分時(shí)，感知器法則可以成功地找到一個(gè)權(quán)向量，但如果樣例不是線性可分時(shí)它將不能收斂，因此人們設(shè)計(jì)了另一個(gè)訓(xùn)練法則來克服這個(gè)不足，這個(gè)訓(xùn)練規(guī)則叫做 delta 規(guī)則。感知器訓(xùn)練規(guī)則是基于這樣一種思路--權(quán)系數(shù)的調(diào)整是由目標(biāo)和輸出的差分方程表達(dá)式?jīng)Q定。而 delta 規(guī)則是基于梯度降落這樣一種思路。這個(gè)復(fù)雜的數(shù)學(xué)概念可以舉個(gè)簡單的例子來表示。從給定的幾點(diǎn)來看，向南的那條路徑比向東那條更陡些。向東就像從懸崖上掉下來，但是向南就是沿著一個(gè)略微傾斜的斜坡下來，向西象登一座陡峭的山，而北邊則到了平地，只要慢慢的閑逛就可以了。所以您要尋找的是到達(dá)平地的所有路徑中將陡峭的總和減少到最小的路徑。在權(quán)系數(shù)的調(diào)整中，神經(jīng)網(wǎng)絡(luò)將會找到一種將誤差減少到最小的權(quán)系數(shù)的分配方式。這部分我們不做詳細(xì)介紹，如有需要大家可參考相關(guān)的人工智能書籍。
人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)為學(xué)習(xí)實(shí)數(shù)值和向量值函數(shù)提供了一種實(shí)際的方法，對于連續(xù)的和離散的屬性都可以使用。并且對訓(xùn)練數(shù)據(jù)中的噪聲具有很好的健壯性。反向傳播算法是最常見的網(wǎng)絡(luò)學(xué)習(xí)算法。這是我們所知用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)很普遍的方法，反向傳播算法是一種具有很強(qiáng)學(xué)習(xí)能力的系統(tǒng)，結(jié)構(gòu)比較簡單，且易于編程。
魯梅爾哈特(Rumelhart)和麥克萊蘭(Meclelland)于 1985 年發(fā)展了 BP 網(wǎng)絡(luò)學(xué)習(xí)算法，實(shí)現(xiàn)了明斯基的多層網(wǎng)絡(luò)設(shè)想。BP網(wǎng)絡(luò)不僅含有輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)，而且含有一層或多層隱(層)節(jié)點(diǎn)。輸入信號先向前傳遞到隱藏節(jié)點(diǎn)，經(jīng)過作用后，再把隱藏節(jié)點(diǎn)的輸出信息傳遞到輸出節(jié)點(diǎn)，最后給出輸出結(jié)果。節(jié)點(diǎn)的激發(fā)函數(shù)一般選用 S 型函數(shù)。
反向傳播(back－propagation，BP)算法是一種計(jì)算單個(gè)權(quán)值變化引起網(wǎng)絡(luò)性能變化值的較為簡單的方法。由于BP算法過程包含從輸出節(jié)點(diǎn)開始，反向地向第一隱含層(即最接近輸入層的隱含層)傳播由總誤差引起的權(quán)值修正，所以稱為"反向傳播"。反向傳播特性與所求解問題的性質(zhì)和所作細(xì)節(jié)選擇有極為密切的關(guān)系。
對于由一系列確定的單元互連形成的多層網(wǎng)絡(luò)，反向傳播算法可用來學(xué)習(xí)這個(gè)多層網(wǎng)絡(luò)的權(quán)值。它采用梯度下降方法試圖最小化網(wǎng)絡(luò)輸出值和目標(biāo)值之間的誤差平方，因?yàn)槲覀円紤]多個(gè)輸出單元的網(wǎng)絡(luò)，而不是像以前只考慮單個(gè)單元，所以我們要重新計(jì)算誤差E，以便對所有網(wǎng)絡(luò)輸出的誤差求和:
Outpus 是網(wǎng)絡(luò)輸出單元的集合，tkd 和 okd 是與訓(xùn)練樣例 d 和第 k 個(gè)輸出單元的相關(guān)輸出值.
反向傳播算法的一個(gè)迷人特性是：它能夠在網(wǎng)絡(luò)內(nèi)部的隱藏層發(fā)現(xiàn)有用的中間表示:
1.訓(xùn)練樣例僅包含網(wǎng)絡(luò)輸入和輸出，權(quán)值調(diào)節(jié)的過程可以自由地設(shè)置權(quán)值，來定義任何隱藏單元表示，這些隱藏單元表示在使誤差E達(dá)到最小時(shí)最有效。
2.引導(dǎo)反向傳播算法定義新的隱藏層特征，這些特征在輸入中沒有明確表示出來，但能捕捉輸入實(shí)例中與學(xué)習(xí)目標(biāo)函數(shù)最相關(guān)的特征
反向傳播訓(xùn)練神經(jīng)元的算法如下：
聯(lián)系客服
