亚洲欧美中文字幕影音先锋,国产成人精品免费视频网页大全

BP算法是一種最有效的多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，其主要特點是信號前向傳遞，而誤差后向傳播，通過不斷調(diào)節(jié)網(wǎng)絡(luò)權(quán)重值，使得網(wǎng)絡(luò)的最終輸出與期望輸出盡可能接近，以達到訓(xùn)練的目的。

一、多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及其描述

下圖為一典型的多層神經(jīng)網(wǎng)絡(luò)。

通常一個多層神經(jīng)網(wǎng)絡(luò)由L層神經(jīng)元組成，其中：第1層稱為輸入層，最后一層（第L層）被稱為輸出層，其它各層均被稱為隱含層（第2層~第L-1層）。

令輸入向量為：

\vec{x} = [x_{1} x_{2} \dots x_{i} \dots x_{m}], i = 1, 2, \dots, m

輸出向量為：

\vec{y} = [y_{1} y_{2} \dots y_{k} \dots y_{n}], k = 1, 2, \dots, n

第l隱含層各神經(jīng)元的輸出為：

h^{(l)} = [h_{1}^{(l)} h_{2}^{(l)} \dots h_{j}^{(l)} \dots h_{s_{l}}^{(l)}], j = 1, 2, \dots, s_{l}

其中， $s_{l}$ 為第l層神經(jīng)元的個數(shù)。

設(shè) $W_{i j}^{(l)}$ 為從l-1層第j個神經(jīng)元與l層第i個神經(jīng)元之間的連接權(quán)重； $b_{i}^{(l)}$ 為第l層第i個神經(jīng)元的偏置，那么：

h_{i}^{(l)} = f (n e t_{i}^{(l)})

n e t_{i}^{(l)} = \sum_{j = 1}^{s_{l - 1}} W_{i j}^{(l)} h_{j}^{(l - 1)} + b_{i}^{(l)}

其中， $n e t_{i}^{(l)}$ 為l層第i個神經(jīng)元的輸入， $f (\cdot)$ 為神經(jīng)元的激活函數(shù)。通常在多層神經(jīng)網(wǎng)絡(luò)中采用非線性激活函數(shù)，而不是用線性激活函數(shù)，因為采用基于線性激活函數(shù)的多層神經(jīng)網(wǎng)絡(luò)本質(zhì)上還是多個線性函數(shù)的疊加，其結(jié)果仍然為一個線性函數(shù)。

二、激活函數(shù)

BP神經(jīng)網(wǎng)絡(luò)通常使用下面兩種非線性激活函數(shù)：

f (x) = \frac{1}{1 + e^{- x}}

f (x) = \frac{1 - e^{- x}}{1 + e^{- x}}

第一種稱為sigmod函數(shù)或者logistics函數(shù)，第二種為雙曲正切函數(shù)。

Sigmod函數(shù)的圖像如下圖所示，它的變化范圍為(0, 1)，其導(dǎo)數(shù)為 $f^{^{'}} = f (1 - f)$ 。

雙曲正切函數(shù)的圖像如下圖所示，它的變化范圍為(-1, 1)，其導(dǎo)數(shù)為 $f^{^{'}} = 1 - f^{2}$ 。

三、BP算法推導(dǎo)過程

假定我們有m個訓(xùn)練樣本 ${(x (1), y (1)), (x (2), y (2)), \dots, (x (m), y (m))}$ ，其中 $d (i)$ 為對應(yīng)輸入 $x (i)$ 的期望輸出。BP算法通過最優(yōu)化各層神經(jīng)元的輸入權(quán)值以及偏置，使得神經(jīng)網(wǎng)絡(luò)的輸出盡可能地接近期望輸出，以達到訓(xùn)練（或者學(xué)習(xí)）的目的。

采用批量更新方法，對于給定的m個訓(xùn)練樣本，定義誤差函數(shù)為：

E = \frac{1}{m} \sum_{i = 1}^{m} E (i)

其中，E(i)為單個樣本的訓(xùn)練誤差：

E (i) = \frac{1}{2} \sum_{k = 1}^{n} (d_{k} (i) - y_{k} (i))^{2}

因此，

E = \frac{1}{2 m} \sum_{i = 1}^{m} \sum_{k = 1}^{n} (d_{k} (i) - y_{k} (i))^{2}

BP算法每一次迭代按照以下方式對權(quán)值以及偏置進行更新：

W_{i j}^{(l)} = W_{i j}^{(l)} - α \frac{\partial E}{\partial W_{i j}^{(l)}}

b_{i}^{(l)} = b_{i}^{(l)} - α \frac{\partial E}{\partial b_{i}^{(l)}}

其中， $α$ 為學(xué)習(xí)速率，它的取值范圍為(0, 1)。BP算法的關(guān)鍵在于如何求解 $W_{i j}^{(l)}$ 和 $b_{i}^{(l)}$ 的偏導(dǎo)數(shù)。

對于單個訓(xùn)練樣本，輸出層的權(quán)值偏導(dǎo)數(shù)計算過程：

\begin{aligned} \frac{\partial E (i)}{\partial W_{k j}^{(L)}} & = \frac{\partial}{\partial W_{k j}^{(L)}} (\frac{1}{2} \sum_{k = 1}^{n} (d_{k} (i) - y_{k} (i))^{2}) \\ = \frac{\partial}{\partial W_{k j}^{(L)}} (\frac{1}{2} (d_{k} (i) - y_{k} (i))^{2}) \\ = - (d_{k} (i) - y_{k} (i)) \frac{\partial y_{k} (i)}{\partial W_{k j}^{(L)}} \\ = - (d_{k} (i) - y_{k} (i)) \frac{\partial y_{k} (i)}{\partial n e t_{k}^{(L)}} \frac{\partial n e t_{k}^{(L)}}{\partial W_{k j}^{(L)}} \\ = - (d_{k} (i) - y_{k} (i)) f (x)^{^{'}} |_{x = n e t_{k}^{(L)}} \frac{\partial n e t_{k}^{(L)}}{\partial W_{k j}^{(L)}} \\ = - (d_{k} (i) - y_{k} (i)) f (x)^{^{'}} |_{x = n e t_{k}^{(L)}} h_{j}^{(L - 1)} \end{aligned}

即：

\frac{\partial E (i)}{\partial W_{k j}^{(L)}} = - (d_{k} (i) - y_{k} (i)) f (x)^{^{'}} |_{x = n e t_{k}^{(L)}} h_{j}^{(L - 1)}

同理可得，

\frac{\partial E (i)}{\partial b_{k}^{(L)}} = - (d_{k} (i) - y_{k} (i)) f (x)^{^{'}} |_{x = n e t_{k}^{(L)}}

令：

δ_{k}^{(L)} = - (d_{k} (i) - y_{k} (i)) f (x)^{^{'}} |_{x = n e t_{k}^{(L)}}

則：

\frac{\partial E (i)}{\partial W_{k j}^{(L)}} = δ_{k}^{(L)} h_{j}^{(L)}

\frac{\partial E (i)}{\partial b_{k}^{(L)}} = δ_{k}^{(L)}

對隱含層L-1層：

\begin{aligned} \frac{\partial E (i)}{\partial W_{j i}^{(L - 1)}} & = \frac{\partial}{\partial W_{j i}^{(L - 1)}} (\frac{1}{2} \sum_{k = 1}^{n} (d_{k} (i) - y_{k} (i))^{2}) \\ = \frac{\partial}{\partial W_{j i}^{(L - 1)}} (\frac{1}{2} \sum_{k = 1}^{n} (d_{k} (i) - f (\sum_{j = 1}^{s_{L - 1}} W_{k j}^{(L)} h_{j}^{(L - 1)} + b_{k}^{(L)}))^{2}) \\ = \frac{\partial}{\partial W_{j i}^{(L - 1)}} (\frac{1}{2} \sum_{k = 1}^{n} (d_{k} (i) - f (\sum_{j = 1}^{s_{L - 1}} W_{k j}^{(L)} f (\sum_{i = 1}^{s_{L - 2}} W_{j i}^{(L - 2)} h_{i}^{(L - 2)} + b_{j}^{(L - 1)}) + b_{k}^{(L)}))^{2}) \\ = - \sum_{k = 1}^{n} (d_{k} (i) - y_{k} (i)) f (x)^{^{'}} |_{x = n e t_{k}^{(L)}} \frac{\partial n e t_{k}^{(L)}}{\partial W_{j i}^{(L - 1)}} \end{aligned}

因為，

\begin{aligned} n e t_{k}^{(L)} & = \sum_{j = 1}^{s_{L - 1}} W_{k j}^{(L)} h_{j}^{(L - 1)} + b_{k}^{(L)} \\ = \sum_{j = 1}^{s_{L - 1}} W_{k j}^{(L)} f (\sum_{i = 1}^{s_{L - 2}} W_{j i}^{(L - 2)} h_{i}^{(L - 2)} + b_{j}^{(L - 1)}) + b_{k}^{(L)} \\ = \sum_{j = 1}^{s_{L - 1}} W_{k j}^{(L)} f (n e t_{j}^{(L - 1)}) \end{aligned}

所以，

\begin{aligned} \frac{\partial E (i)}{\partial W_{j i}^{(L - 1)}} & = \sum_{k = 1}^{n} (d_{k} (i) - y_{k} (i)) f (x)^{^{'}} |_{x = n e t_{k}^{(L)}} \frac{\partial n e t_{k}^{(L)}}{\partial W_{j i}^{(L - 1)}} \\ = \sum_{k = 1}^{n} (d_{k} (i) - y_{k} (i)) f (x)^{^{'}} |_{x = n e t_{k}^{(L)}} \frac{\partial n e t_{k}^{(L)}}{\partial f (n e t_{j}^{(L - 1)})} \frac{\partial f (n e t_{j}^{(L - 1)})}{\partial n e t_{j}^{(L - 1)}} \frac{\partial n e t_{j}^{(L - 1)}}{\partial W_{j i}^{(L - 1)}} \\ = \sum_{k = 1}^{n} (d_{k} (i) - y_{k} (i)) f (x)^{^{'}} |_{x = n e t_{k}^{(L)}} W_{k j}^{(L)} f (x)^{^{'}} |_{x = n e t_{j}^{(L - 1)}} h_{i}^{(L - 2)} \end{aligned}

同理，

\frac{\partial E (i)}{\partial b_{j}^{(L - 1)}} = \sum_{k = 1}^{n} (d_{k} (i) - y_{k} (i)) f (x)^{^{'}} |_{x = n e t_{k}^{(L)}} W_{k j}^{(L)} f (x)^{^{'}} |_{x = n e t_{j}^{(L - 1)}}

令：

\begin{aligned} δ_{j}^{(L - 1)} & = \sum_{k = 1}^{n} (d_{k} (i) - y_{k} (i)) f (x)^{^{'}} |_{x = n e t_{k}^{(L)}} W_{k j}^{(L)} f (x)^{^{'}} |_{x = n e t_{j}^{(L - 1)}} \\ = \sum_{k = 1}^{n} W_{k j}^{(L)} δ_{k}^{(L)} f (x)^{^{'}} |_{x = n e t_{j}^{(L - 1)}} \end{aligned}

\frac{\partial E (i)}{\partial W_{j i}^{(L - 1)}} = δ_{j}^{(L - 1)} h_{i}^{(L - 2)}

\frac{\partial E (i)}{\partial b_{j}^{(L - 1)}} = δ_{j}^{(L - 1)}

由上可推，第l層（ $2 \leq l \leq L - 1$ ）的權(quán)值和偏置的偏導(dǎo)可以表示為：

\frac{\partial E (i)}{\partial W_{j i}^{(l)}} = δ_{j}^{(l)} h_{i}^{(l - 1)}

\frac{\partial E (i)}{\partial b_{j}^{(l)}} = δ_{j}^{(l)}

其中，

δ_{j}^{(l)} = \sum_{k = 1}^{s_{l + 1}} W_{k j}^{(l + 1)} δ_{k}^{(l + 1)} f (x)^{^{'}} |_{x = n e t_{j}^{(l)}}

四、BP算法過程描述

采用批量更新方法對神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏置進行更新：

對所有的層 $2 \leq l \leq L$ ，設(shè) $Δ W^{(l)} = 0, Δ b^{(l)} = 0$ ，這里 $Δ W^{(l)}$ 和 $Δ b^{(l)}$ 分別為全零矩陣和全零向量；
For i = 1:m，
1. 使用反向傳播算法，計算各層神經(jīng)元權(quán)值和偏置的梯度矩陣 $\nabla W^{(l)} (i)$ 和向量和 $\nabla b^{(l)} (i)$ ；
2. 計算 $Δ W^{(l)} = \nabla W^{(l)} (i)$ ；
3. 計算 $Δ b^{(l)} = \nabla b^{(l)} (i)$ 。
更新權(quán)值和偏置：
1. 計算 $W^{(l)} = W^{(l)} + \frac{1}{m} Δ W^{(l)}$ ；
2. 計算 $b^{(l)} = b^{(l)} + \frac{1}{m} Δ b^{(l)}$ 。

本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點擊舉報。

九色国产,午夜在线视频,新黄色网址,九九色综合,天天做夜夜做久久做狠狠,天天躁夜夜躁狠狠躁2021a,久久不卡一区二区三区