机器学习笔记二：神经网络

记：

对输入层，层数为1：

$$x^{k}_i:\text{第k个数据的第i个输入},i\in[1,m]$$

对隐藏层：

$$l:\text{当前层数}\in[2,L-1],s_l:\text{当前层数的单元数}$$ $$w^{(l)}_{ij}:\text{连接第l+1层的第i个输入和第l层的第j个输出的权重}$$ $$\\a^{(l)}_{i}=f(z^{(l)}_{i}):\text{第l层的第i个输出},b^{(l)}_i:\text{第l层到第l+l层的第i个单元的偏置，为常数}$$ $$z^{(l+1)}_{i}=\sum^{s_l}_{j=1}{w^{(l)}_{ij}a^{(l)}_{j}}+b^{(l)}_i:\text{第l+1层的第i输入}$$ $$Z^{(l+1)}={W^{(l)}}\pmb{a^{l}}+\pmb{b^{l}}$$ $$f(z)=\frac{1}{1+e^{-z}},f'(z)=(1-f(z))f(z)$$

对输出层，层数为L：

$$a^{(L)}_i:\text{第i个输入数据的输出},y_k:\text{第k个数据的实际值},i\in[1,m]$$

前向传播

$$\pmb{X}=\pmb{a^{(1)}}\to\pmb{z^{(2)}}\to\pmb{a^{(2)}}\to\cdots\to\pmb{a^{(L)}}$$

代价函数

$$\begin{aligned} & J = \frac{1}{2m} \sum_{i=1}^m \left( a^{(L)}_i-y_i \right)^2 \\ \text{正则化：} & J=\frac{1}{2m}\sum_{i=1}^m\left(a^{(L)}_i-y_i\right)^2+\frac{\lambda}{2m}\sum^{L-1}_{l=1}\pmb{w^{(l)}}^T\pmb{w^{(l)}} \\ & =\frac{1}{2m}\sum_{i=1}^m\left(a^{(L)}_i-y_i\right)^2+\frac{\lambda}{2m}\sum^{L-1}_{l=1}\sum_{i=1}^{s_l}\sum_{j=1}^{s_{l+1}}(w^{(l)}_{ji})^2 \\ \end{aligned}$$

在逻辑分类中：

$$\begin{aligned} & J = -\frac{1}{m}\sum^m_{i=1}\left(y^{i}\log(a^{(L)}_i)+(1-y^{i})\log(1-a^{L}_i)\right) \\ \text{正则化：} J = & -\frac{1}{m}\sum^m_{i=1}\left(y^{i}\log(a^{(L)}_i)+(1-y^{i})\log(1-a^{L}_i)\right) \\ & +\frac{\lambda}{2m}\sum^{L-1}_{l=1}\sum_{i=1}^{s_l}\sum_{j=1}^{s_{l+1}}(w^{(l)}_{ji})2 \end{aligned}$$

反向传播

由代价函数更新权重以及偏置矩阵，按梯度下降法有：

$$w^{(l)}_{ij}=w^{(l)}_{ij}-\alpha\frac{\partial J}{\partial w^{(l)}_{ij}}\\ b^{(l)}_i=b^{(l)}_i-\alpha\frac{\partial J}{\partial b^{(l)}_i}$$

这里先使用代价函数为：

$$J=\frac{1}{2m}\sum_{i=1}^m\left(a^{(L)}_i-y_i\right)^2$$

输出层

$$\begin{aligned} \frac{\partial J}{\partial w^{(L-1)}_{ij}}&=\frac{1}{2m}\sum_{t=1}^m\left(\frac{\partial ((a^{(L)}_t-y_i)^2)}{\partial a^{(L)}_t}\frac{\partial a^{(L)}_t}{\partial w^{(L)}_{ij}}\right)\\ &=\frac{1}{m}\sum_{t=1}^m\left[(a^{(L)}_t-y_t)\frac{\partial f(z^{(L)}_i)}{\partial w^{(L-1)}_{ij}}\right]\\ &=\frac{1}{m}\sum_{t=1}^m\left[(a^{(L)}_t-y_t)\frac{\partial f(z^{(L)}_i)}{\partial z^{(L)}_i}\frac{\partial z^{(L)}_i}{\partial w^{(L-1)}_{ij}}\right]\\ &=\frac{1}{m}\sum_{t=1}^m\left[(a^{(L)}_t-y_t)(1-f(z^{(L)}_i))f(z^{(L)}_i)\frac{\partial (\sum^{s_{L-1}}_{k=1}{w^{(L-1)}_{ik}a^{(L-1)}_{k}}+b^{(L-1)}_t)}{\partial w^{(L-1)}_{ij}}\right]\\ &=\frac{1}{m}\sum_{t=1}^m\left[(a^{(L)}_t-y_t)(1-f(z^{(L)}_i))f(z^{(L)}_i)a^{(L-1)}_j\right]\\ &=\frac{1}{m}\sum_{t=1}^m\left[(a^{(L)}_t-y_t)\frac{\partial f(z^{(L)})}{\partial z^{(L)}_i}a^{(L-1)}_j\right] \end{aligned}$$

注意一下这里最后的代价函数是针对单个数据而言的，然后把他们汇总，再取平均，所以不是除以2m。

这里的t下标代表第几个数据

记：

$$\delta^{(L)}_i=\frac{\partial J}{\partial z^{(L)}_i}=(a^{(L)}-y)\frac{\partial f(z^{(L)})}{\partial z^{(L)}_i}$$

隐藏层

注意一下这里的代价函数是针对单个数据而言的，然后把他们汇总，再取平均，所以不是除以2m。

$$\begin{aligned} \frac{\partial J}{\partial w^{(l)}_{ij}}&=\frac{1}{m}\sum_{t=1}^m\left(\frac{\partial J}{\partial z^{(l+1)}_i}\frac{\partial z^{(l+1)}_i}{\partial w^{(l)}_{ij}}\right)\\ \delta^{(l+1)}_i&=\frac{\partial J}{\partial z^{(l+1)}_i}\\ &=\sum^{s_{l+2}}_{k=1}\left(\frac{\partial J}{\partial z^{(l+2)}_k}\frac{\partial z^{(l+2)}_k}{\partial z^{(l+1)}_i}\right)\\ &=\sum^{s_{l+2}}_{k=1}\left[\delta^{(l+2)}_k\frac{\partial (\sum^{s_{l+1}}_{j=1}{w^{(l+1)}_{kj}a^{(l+1)}_{j}}+b^{(l+1)}_k)}{\partial z^{(l+1)}_i}\right]\\ &=\sum^{s_{l+2}}_{k=1}\left[\delta^{(l+2)}_k\frac{\partial (\sum^{s_{l+1}}_{j=1}{w^{(l+1)}_{kj}f(z^{(l+1)}_{j}})+b^{(l+1)}_k)}{\partial z^{(l+1)}_i}\right]\\ &=\sum^{s_{l+2}}_{k=1}\left[\delta^{(l+2)}_kw^{l+1}_{ki}f'(z^{(l+1)}_i)\right] \end{aligned}\\$$

即可有：

$$\begin{aligned} \pmb{\delta^{(l+1)}} & =\left[{W^{(l)}}^T\pmb{\delta^{(l+1)}}\right]f'(\pmb{z^{(l+1)}}) \\ \frac{\partial J}{\partial w^{(l)}_{ij}} & =\frac{1}{m}\sum_{t=1}^m\left\{a^{(l)}_jf'(z^{(l+1)}_i)\sum^{s_{l+2}}_{k=1}\left[\delta^{(l+2)}_kw^{l+1}_{ki}\right]\right\} \\ \frac{\partial J}{\partial W^{(l)}} & =\frac{1}{m}\sum_{t=1}^m\pmb{\delta^{(l+1)}}\pmb{a^{l}}^T \\ \end{aligned}$$

又已知：

$$\pmb{\delta^{(L)}},\pmb{w^{(L-1)}}$$

可求解：

$$\pmb{\delta^{(L-1)}},\pmb{w^{(L-2)}}$$

递归求解，反复迭代

偏置单元

偏置单元也是如此

$$\begin{aligned} & \frac{\partial J}{\partial b^{(L-1)}_i}=\frac{1}{m}\sum_{t=1}^m\frac{\partial J}{\partial z^{(L)}_i}\\ & \frac{\partial J}{\partial \pmb{b^{(L-1)}}}=\pmb{\delta^{(L)}_i}\\ & \frac{\partial J}{\partial b^{(l)}_i}=\frac{1}{m}\sum_{t=1}^m\left\{f'(z^{(l+1)}_i)\sum^{s_{l+2}}_{k=1}\left[\delta^{(l+2)}_kw^{l+1}_{ki}\right]\right\}\\ & \frac{\partial J}{\partial \pmb{b^{(L-1)}}} =\frac{1}{m}\sum_{t=1}^m\pmb{\delta^{(l+1)}} \end{aligned}$$

对逻辑分类

之前就已经说明过一样的，这里也同理有结论

对正则化

$$\frac{\partial J}{\partial W^{(l)}}=\frac{1}{m}\sum_{t=1}^m\pmb{\delta^{(l+1)}}\pmb{a^{l}}^T+\frac{\lambda}{m}W^{(l)}$$

---

参考：

https://www.cnblogs.com/lliuye/p/9183914.html

https://blog.csdn.net/qq_32865355/article/details/80260212