<script type="text/javascript" src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=default"></script>

梯度下降参数更行规则

1.权重学习规则

2.偏置学习规则

反向传播核心方程

1. 输出层误差向量的每个元素如下：

向量形式：

2. 使用下一层误差表示当前层误差

3. 代价函数关于偏置改变率：

4. 代价函数关于权重改变率：

5. 交叉熵代价函数：

6. 柔性最大值：

7. 规范化代价函数：

L2规范化（权重衰减）

此时权重学习规则变为(偏置不变)：

L1规范化