（26）盘古自研框架BackPropagation

我们的盘古自研框架BackPropagation也是同样的Back Propagation梯度下降算法求导计算过程。我们在Forward Propagation前向传播计算使用的是Sigmoid激活函数，即f(x)= 1 / ( 1 +e^(-x)   )，因此在Back Propagation反向传播是对Sigmoid进行求导。求导公式为：df(x) /dx = f(x) * ( 1 - f(x))。 如图所示：

图 1- 42梯度求导

循环遍历每一个权重，从前往后依次更新权重。例如：计算更新输入层的第一个输入节点到第一层隐藏层的N[1][1]节点（节点索引值4）的权重（The weight from 1 at layers[0] to 4 at layers[1]），梯度计算为derivative = weight_to_node_error* (weight_to_node_value * (1 - weight_to_node_value

)) * weight_from_node_value , 其他的神经元节点也同样进行求导计算，更新Weight权重的时候derivative乘以learning_rate学习率参数，通过weights[j].set_value(weights[j].get_value() - derivative *learning_rate)  更新权重，这是下次计算的时候能够更加准确的关键，因为把上面的计算成果运用在了调整Neuron Network的Weights上。

我们这里是4条数据，把所有的数据训练一遍，然后进行更新。如果是1亿条数据，可能10万条数据进行更新，10万条数据进行更新，在一个Epoch中运行，这样就实现了整个Back Propagation。如果理解了本节的Back Propagation，也能理解RNN、CNN等深度学习算法，它们基于Back Propagation的过程进行了封装，在Back Propagation的引擎上打造出一个框架算法，CNN就是在本节Back Propagation的基础上，前面加了一个步骤，把图片的数据变成矩阵（0、1）或（0，255）的数字，加了一个预处理的过程，其引擎核心和我们的Back Propagation算法是一样的，包括推荐系统、RNN等都是这样，算法在这个引擎上进行了封装。所以，Back Propagation算法的实现非常难，是最重要的基石基础。

Create_AI_Framework_In5Classes(Day3)版本的BackPropagation.py代码如下：

# -*- coding: utf-8 -*-

在Spyder中运行Neuron_Network_Entry.py代码，运行结果如下：

+1      V1      V2      

如图所示是阿尔法狗的深度学习示意图，阿尔法狗的根据人的经验输入数据，进行监督学习，这个思路和我们的Back Propagation思路完全一样的，阿尔法狗的核心有个步骤，第一个步骤是深度学习，第二个是增强学习，从思想层面，本章节在Demo级别，我们已经完成了阿尔法狗深度学习80%的工作量。

图 1- 43阿尔法狗深度学习