反向传播计算的作业

发表于 更新于 分类于 阅读次数： 本文字数： 373 阅读时长 ≈ 1 分钟

通用的三层前馈网络的BP学习算法的推导

输入矩阵

从输入到隐藏层的参数矩阵

隐藏层矩阵

从隐藏层到输出的参数矩阵

计算输出

期望输出

传递关系

其展开后的求和公式形式为

单极性sigmoid函数

误差计算

将以上误差定义式展开至隐藏层:

进一步展开至输入层:

式中负号表示梯度下降, 常数

表示比例系数.

对于输出层, 上式可写成:

对于隐藏层, 上式可写成:

对于输出层和隐藏层各定义一个误差信号, 令

代入上式可得到

和

对于输出层,可以展开为

对于隐藏层, 可以展开为

对于输出层, 利用误差公式 , 可得

对于隐藏层, 利用误差公式 , 可得

将Sigmoid激活函数代入, 可以得到

所以得到三层前馈网络的BP学习算法权值调整计算公式为

##作业: 在此例中

输入层有4个, 隐藏层有3个, 输出有1个, 因此有

n=4, m=3, l=1, 即为:

正向推导

误差反向传播

代入n,m,l具体数值

误差为: