ZHE2018 / network

<script type="text/javascript" src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=default"></script>

梯度下降参数更行规则

1.权重学习规则

$\large \omega\rightarrow \omega - \eta\frac{\partial C}{\partial \omega}$

2.偏置学习规则

$\large b\rightarrow b- \eta\frac{\partial C}{\partial b}$

反向传播核心方程

1. 输出层误差向量的每个元素如下：

$\LARGE \delta^L_j =\frac{\partial C}{\partial a^L_j} {\sigma}'(z^L_j)$

向量形式：

$\LARGE \delta^L =\triangledown_a C \odot {\sigma}'(z^L)$

2. 使用下一层误差表示当前层误差

$\LARGE \delta^l =((\omega ^{l+1})^T)\delta ^{l+1})\odot \sigma'(z^l)$

3. 代价函数关于偏置改变率：

$\LARGE \frac{\partial C}{\partial b^l_j}=\delta ^l_j$

4. 代价函数关于权重改变率：

$\LARGE \frac{\partial C}{\partial \omega ^l_{jk}}=a^{l-1}_k \delta ^l_j$

5. 交叉熵代价函数：

$\large C = -\frac{1}{n}\sum_{x}[y\, lna+(1-y)\,ln(1-a)]$

6. 柔性最大值：

$\large a^L_j=\frac{e^{z^L_j}}{\sum_{k}e^{z^L_j}}$

7. 规范化代价函数：

L2规范化（权重衰减）

$\large C=C_0 + \frac{\lambda }{2n}\sum_{w}w^2$

此时权重学习规则变为(偏置不变)：

$\large \omega\rightarrow \left ( 1- \frac{\eta\lambda}{n} \right )\omega - \eta\frac{\partial C}{\partial \omega}$

L1规范化

$\large C=C_0+\frac{\lambda}{n}\sum_{w}|w|$

About

Languages

Language:Python 100.0%