(16) 应用激活函数Sigmoid函数进行非线性转换

(2)   隐藏层Hidden Layer的处理。

例如，TensorFlow的可视化图中，输入层x1，x2接收所有的数据，汇聚起来然后在隐藏层的第一层的第一个神经元进行非线性的转换，第一个隐藏层接收的数据是输入层的数据，第二个隐藏层接收的是第一个隐藏层的数据……，在神经元节点进行非线性转换，本节中使用的是Sigmoid函数转换，非线性转换需处理什么内容？这里继续再进行一个循环，循环用于非线性转换的计算，这是非常核心的地方。之前还没有进行计算，只是将数据输入到输入层x1，x2，在隐藏层计算的节点不能为Bias节点，之前隐藏层获得不为Bias节点的方式是跳过了第一个Bias，这个是与我们自研盘古框架相关的。循环内部隐藏层所有的节点，先进行一个判断神经元节点不能是Bias，nodes[j].get_is_bias_unit()必须为False，同时，神经元节点的层次level必须大于0，只有在这种情况下，节点才可能处于隐藏层Hidden Layer，同时过滤掉了Bias的内容。

接下来设置节点的值。循环遍历Weight。例如，TensorFlow的可视化图中，完成了输入层x1，x2的输入以后，如果要计算隐藏层的第一层的第一个神经元的所有Weight，这时涉及一个问题，当前处理的神经元节点是谁？必须把当前处理的神经元节点记录下来。读者如读过Pytorch的源码可能感觉理解比较轻松。要获得目标神经元最快的方式是通过节点的索引ID来获得，对所有节点遍历的时候获取index，获得当前Neuron的ID。例如，获得隐藏层的第一层的第一个神经元，要找所有和它相关的Weight，然后通过Weight找到它所有输入的数据来源。既有Weight，又有输入的数据来源，而输入的数据来源有值，如x1是0，x2是1，就可以进行线性变换和非线性变换的处理，for循环所有Weight，获取到达的目标是第一个隐藏层的第一个神经元。循环的目标是找出所有Weights的目的地，输入层和第一个隐藏层之间有很多Weights，如果Weight的目的地是第一个隐藏层的第一个神经元，这就是我们需要的。通过判断target_index== weights[k].get_to_index()，之前我们设置权重的时候设置目的地的ID（to_index()），例如，TensorFlow的可视化图中，对于第0个Weight，其Weight连接的2个节点是x1和第一个隐藏层的第一个神经元，x1的ID是它的from_index ，第一个隐藏层的第一个神经元是它的to_index()。第一个隐藏层的第一个神经元有2个连接Weights，2个Weights分别有自己的值，输入层的x1，x2也都有自己的值，x1的值是0，x2的值是1，如果Weight的to_index()和当前节点的ID是一样的，接下来是获取它们的值。

第一步，首先获取weight本身的值value。第二步，weight权重有一个来源，例如第0个weight关联的节点是x1，x1的值是0，要获取x1的值，需先获得该Weight的来源的Neuron的ID。

• 线性转换

获得节点的ID以后，关键是获得这个ID的神经元节点的值，需再次循环遍历，获得该来源Neuron的Value。判断一下from_index 等于nodes[m].get_index()的索引，则获得该ID的Neuron，然后获得该Neuron的具体的Value。例如，TensorFlow的可视化图中，输入层的节点x1，x2，获取它们的值，要么获取0，要么获取1。从输入层的角度，获得第一层输入层的神经元的值，接下来将值进行相乘，设置一个全局变量target_neuron_input，初始值为0，接收上一个层次Layer中所有的和自己相关的神经元节点Neurons和权重Weights的乘积之和。例如，TensorFlow的可视化图中，输入层x1节点和隐藏层的第一个神经元之间的权重的值是0.46，x1节点的值是0，将0乘以0.46；输入层x2节点和隐藏层的第一个神经元之间的权重的值是-0.034，x2节点的值是1，将1乘以-0.034；然后进行累加0*0.46+1*（-0.034）=-0.034，把Weight和相应的Value相乘，然后累加。

这样我们就完成了一个非常重要的步骤，即线性处理部分。

如图1-25所示，将输入层的数据收集进来（输入层的第1个节点的值是1，第2个节点的值是0，第3个节点的值是1），获取权重及来源的值，然后将它们相乘进行累加。节点值及权重系数乘积的累加计算：（1*3+0*8+1*4）-1 =6。

图 1- 25权重计算

回到ForwardPropagation.py代码，这里有个问题：如果找到了来源的神经元，并且获取了神经元的值，然后也知道权重的值，有没有必要循环下去，看其他的神经元？一个权重是一条边，一条边连接2个节点，一旦找到了来源节点，没必要再循环其他的节点，一个Weight只连接一个上一个层次Layer的Neuron，所以不需要继续循环整个神经网络的其它Neurons。因此在代码中进行break。

接下来是本节中最重要的时刻，应用激活函数Sigmoid函数进行非线性转换。

• 非线性转换

例如，TensorFlow的可视化图中，已经获得了输入层节点x1，x2的值，已经把权重和相应的值相乘，然后累加，现在是要设置隐藏层的第一个神经元的值。设置一个变量target_neuron_output为经过非线性转换Non-Linearity后的输出，我们这里使用Sigmoid激活函数。

接下来的代码编写，按Tab退格键到if语句下，非线性转换是对前面所有结果的计算，因此，接下来的代码不可能写在break语句下；再按Tab退格键，也不可能是前一个for循环下，因为这里只计算了一个节点的结果；继续按Tab退格键，也不可能是if语句下，因为if语句对应的是一个weight的边，以及源神经元节点的处理；再按一个Tab退格键，和上一个for循环语句对齐，这个时候获取了所有的数据。从和Break语句对齐出发，一共按了4次后退键，第1次和if语句对齐，第2次和for语句对齐，第3次和前一个if语句对齐，第4次和前一个for语句对齐，接下来是要应用Sigmoid激活函数对当前的Neuron的所有的输入累计后的值进行操作。

如图1-26所示，对于Sigmoid函数我们将实现f(x) = 1/(1+                              ))公式，通过代码target_neuron_output= 1 / (1 + math.exp(- target_neuron_input))计算出值，就是神经元节点具体的值。接下来把输入值和当前Neuron采用Sigmoid Activation计算后的值设置进当前的Neuron。

图 1- 26 Sigmoid激活函数