一文彻底搞懂BP算法：事理推导+数据演示+项目实战（上篇）_神经元_神经收集

2024-08-04 05:48:42 科技快讯

全文分为高下两篇，上篇紧张先容BP算法的事理（即公式的推导），先容完事理之后，我们会将一些详细的数据带入一个大略的三层神经网络中，去完全的体验一遍BP算法的打算过程；下篇是一个项目实战，我们将带着读者一起亲手实现一个BP神经网络（不该用任何第三方的深度学习框架）来办理一个详细的问题。

1. BP算法的推导

一文彻底搞懂BP算法：事理推导+数据演示+项目实战（上篇）_神经元_神经收集科技快讯

图1 一个大略的三层神经网络

图 1 所示是一个大略的三层（两个隐蔽层，一个输出层）神经网络构造，假设我们利用这个神经网络来办理二分类问题，我们给这个网络一个输入样本(x₁,x₂)，通过前向运算得到输出y ̂。
输出值y ̂的值域为[0,1]，例如y ̂的值越靠近0，代表该样本是\"大众0\公众类的可能性越大，反之是\公众1\公众类的可能性大。

1.1 前向传播的打算

为了便于理解后续的内容，我们须要先搞清楚前向传播的打算过程，以图1所示的内容为例：

输入的样本为：

第一层网络的参数为：

第二层网络的参数为：

第三层网络的参数为：

1.1.1 第一层隐蔽层的打算

图2 打算第一层隐蔽层

第一层隐蔽层有三个神经元：neu₁、neu₂和neu₃。
该层的输入为：

以neu₁神经元为例，则其输入为：

同理有：

假设我们选择函数f(x)作为该层的激活函数（图1中的激活函数都标了一个下标，一样平常情形下，同一层的激活函数都是一样的，不同层可以选择不同的激活函数），那么该层的输出为：f₁(z₁)、f₂(z₂)和f₃(z₃)。

1.1.2 第二层隐蔽层的打算

图3 打算第二层隐蔽层

第二层隐蔽层有两个神经元：neu₄和neu₅。
该层的输入为：

即第二层的输入是第一层的输出乘以第二层的权重，再加上第二层的偏置。
因此得到和的输入分别为：

该层的输出分别为：f₄(z₄)和f₅(z₅)。

1.1.3 输出层的打算

图4 打算输出层

输出层只有一个神经元neu₆：。
该层的输入为：

即：

由于该网络要办理的是一个二分类问题，以是输出层的激活函数也可以利用一个Sigmoid型函数，神经网络末了的输出为：f₆(z₆)。

1.2 反向传播的打算

在1.1节里，我们已经理解了数据沿着神经网络前向传播的过程，这一节我们来先容更主要的反向传播的打算过程。
假设我们利用随机梯度低落的办法来学习神经网络的参数，丢失函数定义为L(y,y ̂ )，个中 y 是该样本的真实类标。
利用梯度低落进行参数的学习，我们必须打算出丢失函数关于神经网络中各层参数（权重w和偏置b）的偏导数。

1.2.1 打算偏导数

前面说过，第k层神经元的输入为：

因此可以得到：

上式中，(W_(m:))^(k)代表第k层神经元的权重矩阵W^k的第m行，(W_(mn))^((k))代表第k层神经元的权重矩阵W^k的第m行中的第n列。

我们以1.1节中的大略神经网络为例，假设我们要打算第一层隐蔽层的神经元关于权重矩阵的导数，则有：

1.2.2 打算偏导数

由于偏置b是一个常数项，因此偏导数的打算也很大略：

依然以第一层隐蔽层的神经元为例，则有：

1.2.3 打算偏导数

下面是基于随机梯度低落更新参数的反向传播算法：

纯挚的公式推导看起来有些呆板，下面我们将实际的数据带入图1所示的神经网络中，完全的打算一遍。

2. 图解BP算法