《softmax交叉熵损失函数求导》由会员分享，可在线阅读，更多相关《softmax交叉熵损失函数求导（3页珍藏版）》请在金锄头文库上搜索。
1、softmax交叉熵损失函数求导softmax函数的公式是这种形式:bX-2aWo32呵殉其中W_ij是第i个神经元的第个权重，b是偏移值。Z_i表示该网络的第个输出。给这个输出加上一个softmax函数，那就变成了这样：神经元的输出设为:简单易懂的softmax交叉熵损失函数求导来写一个softmax求导的推导过程，不仅可以给自己理清思路，还可以造福大众，岂不美哉softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的步骤就是求导，从这个过程也可以更深刻地理解反向传播的过程，还可以对梯度传播的问题有更多的思考。softmax函数softmax（柔性最大值）函数，一般
2、在神经网络中，softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率，比如我有一个分类任务，要分为三个类，softmax函数可以根据它们相对的大小，输出三个类别选取的概率，并且概率和为。S代表的是第i个神经元的输出。ok,其实就是在输出后面套一个这个函数，在推导之前，我们统一一下网络中的各个表示符号，避免后面突然出现一个什么符号懵逼推导不下去了。首先是神经元的输出，一个神经元如下图：a_i代表softmax的第i个输出值，右侧就是套用Tsoftmax函数。损失函数lossfunction在神经网络反向传播中，要求一个损失函数，这个损失函数其实表示的是真实值
3、与网络的估计值的误差，知道误差了，才能知道怎样去修改网络中的权重。损失函数可以有很多形式，这里用的是交叉熵函数，主要是由于这个求导结果比较简单，易于计算，并且交叉熵解决某些损失函数学习缓慢的问题。交叉熵的函数是这样的:其中y_i表示真实的分类结果。到这里可能嵌套了好几层，不过不要担心，下面会一步步推导，强烈推荐在纸上写一写，有时候光看看着看着就迷糊了，自己边看边推导更有利于理解最后的准备在我最开始看softmax推导的时候，有时候看到一半不知道是怎么推出来的，其实主要是因为一些求导法则忘记了，唉所以这里把基础的求导法则和公式贴出来有些忘记的朋友可以先大概看一下：(2)(3J(cm.x)cos?
4、tW(CMK0(tan=己匚x冋(catx/=esc31(wc亦二secxtanx(3)(escj)*=-cscxcotz(afc)r=caJkiitf(101tey=eZ丫二(121(ks)r=-xhidX(13)(AKSLftXY=(141(afcc&sjr)r=-(15)(arctanx)f=r1+x(161(arccQt1+x凿!啲*口，董枳.商龄号注期u-v=v(t)E：T-mJell畑土巧冃11土讨(佻=01?iC*毎宜数(3)(卯“中+山讨.f震合函披求导注则=/()-而=P(x)且/)黑软力耳耳导:列良舍曲数$=!栽或打导叢为变=变色或卄畑如axMiax推导过程好了，这下正式开
5、始首先，我们要明确一下我们要求什么，我们要求的是我们的0SS对于神经元输出(z_i)的梯度，即:dCdZi根据复合函数求导法则:dzidajdzi有个人可能有疑问了，这里为什么是1而不是a_i,这里要看一下Softmax的公式了，因为softmax公式的特性，它的分母包含了所有神经元的输出，所以，对于不等于的其他输出里面，也包含着z，所有的a都要纳入到计算范围中，并且后面的计算可以看到需要分为=j和i土j两种情况求导。下面我们一个一个推：dC必-乙力1叫)p1=V;dajdaj牛a第二个稍微复杂一点，我们先把它分为两种情况:ok，接下来我们只需要把上面的组合起来:dC”口1dtJP习TH肓=(一乙力一)忑-=-Aj)+2aiaf=一敢+y(ai+Z艸內=-,+h,2jfatatJztat車ai宙j最后的结果看起来简单了很多，最后，针对分类问题，我们给定的结果最终只会有一个类别是1,其他类别都是o,因此，对于分类问题，这个梯度等于:de
