いまの誤差(損失)
数値微分の予測計算: 0 逆伝播の往復: 0
数値微分の勾配 逆伝播の勾配
つまみ勾配(左=マイナス / 右=プラス)

ネットワークは第2回と同じ形の2層(入力2・隠れ3・出力1)、つまみは全部で13個。XOR配置の4点を学習対象にしています。「数値微分」はつまみを1個ずつ少し動かして誤差の変化を測るので、13個のつまみに14回の予測計算が要ります。「逆伝播」は前向き1回+責任配り1回の一往復で、13個ぶんが同時に出ます。2つの棒がほぼ重なる=同じ答え。「1ステップ進める」は逆伝播の勾配で全つまみを少し回し、誤差が下がります。