首页 资料正文

神经网络-全连接层(2)

woniu 资料 2020-03-22 23:13:00 75865 0 | 文章出自:用户投稿

apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif; font-size: medium; text-align: center;">神经网络-全连接层(2)

      这一回聊一下神经网络的反向传导算法问题。反向传导算法是一个比较复杂的算法,但是如果把它拆解开,其实每一个小步骤并不复杂。

      在此之前需要先介绍一个概念,那就是模型训练目标。神经网络是一个用在监督学习上的模型,所谓的监督学习就是我们要提前知道输入和输出。那么我们的模型训练目标自然是希望模型在接收输入后,可以得到和我们提前知道的一样的输出。

      但是怎么描述这个“一样”呢?现实中会有很多具体的表述方法。这里我们介绍并采用一种相对简单的方式,那就是二次损失函数。对于模型的输出y,和我们提前知道的理论输出t,有:

神经网络-全连接层(2)

      好了,下面我们定义一个双层神经网络,其中:

  1. 输入的数据是2维
  2. 第一层神经网络的输入也是2维,输出是4维,非线性部分采用sigmoid函数
  3. 第二层神经网络的输入也是4维,输出是1维,非线性部分采用sigmoid函数

 

      下面的时间请大家想象这个神经网络……

      不用想了,画了个比较丑的…… 

 

神经网络-全连接层(2)

line-height: inherit; font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif; color: rgb(51, 51, 51);">链式求导

      下面的时间我们来推导神经网络的优化公式。推导公式本身不需要太多的数学知识,但是需要一些耐心,我们首先解决一个数据的推导,然后扩展到一批(batch)数据上。

我们的目标函数是这个损失函数Loss,优化方法还是之前提到的梯度下降法,那么我们就需要求出每一个参数的梯度,也就是:

第一层:神经网络-全连接层(2)

神经网络-全连接层(2)

第二层:神经网络-全连接层(2)

      如果我们能求出上面的17个梯度,后面我们就可以用负梯度乘以步长进行优化迭代了,说实话,直接求解这些确实有点难,这时候微分世界的一大神器就来了,那就是链式求导。我们把数据传递的过程再详细描述一下:

  1. 输入数据神经网络-全连接层(2)
  2. 第一层的线性部分输出神经网络-全连接层(2)
  3. 第一层的非线性部分输出神经网络-全连接层(2)
  4. 第二层的线性部分输出神经网络-全连接层(2)
  5. 第二层的非线性部分输出y
  6. 二次损失函数Loss

 

      下面就按照这个顺序分步求导,对于上面的六个变量和模型的参数,我们根据每个分布的公式求出每个变量最近的输出的导数:神经网络-全连接层(2)

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

本文链接:https://www.chinaai.com/ziliao/571.html

评论