《人工神经网络函数导数最值课件电子教案》由会员分享,可在线阅读,更多相关《人工神经网络函数导数最值课件电子教案(99页珍藏版)》请在金锄头文库上搜索。
1、1,张凯 副教授,武汉科技大学 计算机学院,人工神经网络(Artifical Neural Network),2,第四章 函数、导数、最值,1. 导数和方向导数,2. 导数的几何意义,3. 函数的最值,4. 梯度下降法,3,导数的概念,函数f (x)在x=x0处的瞬时变化率为:,我们称它为函数f (x)在x=x0处的导数,记作:,4,导数的概念,比如, y = f (x),如图,6,方向导数的概念,又比如, z = f (x, y), 偏导数,分别表示函数在点 (x0, y0)沿 x 轴方向,沿 y 轴方向的变化率.,7,方向导数的概念,如图,x,o,y,z,x0,(x0, y0),y,8,方
2、向导数的概念,表示在 (x0, y0)处沿 y 轴正方向的变化率.,表示在 (x0, y0)处沿 y 轴负方向的变化率.,9,方向导数的概念,即 f x (x0, y0) 表示 y = y0 与 z = f (x, y)的交线在 M0处的切线对 x 的斜率.,把偏导数概念略加推广即可得到方向导数的概念.,10,方向导数的概念,即 f y (x0, y0) 表示 x = x0 与 z = f (x, y)的交线在 M0处的切线对 y 的斜率.,11,方向导数的概念,如图,12,方向导数的概念,若 z = f (X) = f (x, y)在 X0 = (x0, y0)处偏导存在.,则在 X0 处沿
3、 x 轴正向的方向导数,13,方向导数的概念,在 X0 处沿 x 轴负方向的方向导数,同样可得沿 y 轴正向的方向导数为 f y (x0, y0), 而沿 y 轴负方向的方向导数为 f y (x0, y0).,14,导数的概念,设,求,例:,解:,导数的几何意义,如图,曲线C是函数y=f(x) 的图象,P(x0,y0)是曲线C上的 任意一点,Q(x0+x,y0+y) 为P邻近一点,PQ为C的割线, PM/x轴,QM/y轴,为PQ的 倾斜角.,斜率!,则,导数的几何意义,P,Q,割线,切线,T,请看当点Q沿着曲线逐渐向点P接近时,割线PQ绕着点P逐渐转动的情况.,导数的几何意义,设切线的倾斜角为
4、,那么当x0时,割线PQ的斜率,称为曲线在点P处的切线的斜率.,提供了求曲线上某点切线的斜率的一种方法;切线斜率的本质函数在x=x0处的导数.,(3)当 t = t2 时, 曲线 h(t) 在 t2处的切线 l2 的斜率 h(t2) 0 .故在 t = t2 附近曲线下降,即函数 h(t) 在t = t2 附近也单调递减.,导数的几何意义,例,曲线h(t)在t0 , t1 , t2 附近的变化情况.,解:可用曲线 h(t) 在 t0 , t1 , t2 处的切线刻画曲线 h(t) 在上述三个时刻附近的变化情况.,(1)当 t = t0 时, 曲线 h(t) 在 t0 处的切线 l0 平行于 x
5、 轴.故在 t = t0 附近曲线比较平坦, 几乎没有升降.,(2)当 t = t1 时, 曲线 h(t) 在 t1 处的切线 l1 的斜率 h(t1) 0 .故在t = t1 附近曲线下降,即函数 h(t) 在 t = t1 附近单调递减.,从图可以看出,直线 l1 的倾斜程度小于直线 l2 的倾斜程度,这说明 h(t) 曲线在 l1 附近比在 l2 附近下降得缓慢,f (x)0,f (x)0,设函数y=f(x) 在某个区间内可导,,函数单调性与导数关系,为增函数,为减函数,为常数,凹,凸,曲线的凹凸性,定理:设f (x)在a, b上连续,在(a, b)内具有一阶和二阶导数,那么,例1,解,
6、所以曲线是凸的。,曲线的凹凸性,例2,解,曲线的凹凸性,拐点定义:,曲线的凹凸性,一般地,设 y = f (x) 在I上连续,x0 是 I 的内点,如果曲线 y = f (x) 在经过点(x0,f (x0) 时,曲线的凹凸性改变了,那么称点(x0,f (x0)为这曲线的拐点。,解,凹的,凸的,凹的,拐点,拐点,曲线的凹凸性,25,下图是导函数 的图象, 试找出函数 的极值点, 并指出哪些是极大值点, 哪些是极小值点.,函数的极值定义,设函数f (x)在点x0附近有定义,,如果对x0附近的所有点,都有f (x)f (x0),则f (x0) 是函数f (x)的一个极大值, 记作y 极大值= f (
7、x0);,如果对x0附近的所有点,都有f (x)f (x0),则f (x0) 是函数f (x)的一个极小值,记作y 极小值= f (x0);,函数的极大值与极小值统称为极值,使函数取得极值的点x0称为极值点,用导数法求解函数极值的步骤,(1)求导函数f (x); (2)求解方程f (x) = 0; (3)检查f (x)在方程f (x) = 0的根的左右的符号,并根据符号确定极大值与极小值.,口诀:左负右正为极小,左正右负为极大。,函数极值的判定,定理 如果函数f (x)在x0附近有连续的二阶导数f (x) ,f (x0) 0, f (x)0,那么 若f (x0)0,则函数f (x)在点x0处取
8、得极大值 若f (x0)0,则函数f (x)在点x0处取得极小值,例:求下列函数的极值 f (x)2x33x2 解: f (x)6x26x,f (x)12x6 令6x26x0,得驻点为x11,x20 f (1)60,f (0)60 把x11,x20代入原函数计算得f (1)1、f (0)0 当x1时,y极小1,x0时,y极大0,函数极值的判定,例:求下列函数的极值 f (x)sinxcosx,x0,2 解: f (x)cosxsinx,令cosxsinx0, 得驻点为x1 ,x2 ,又f (x)sinxcosx, 把x1 ,x2 代入原函数计算得 f ( ) 、f ( ) 。所以当x 时,y极
9、大 , x 时,y极小,注意 如果f (x0)0,f (x0)0或不存在,本定理无效,则需要考察点x0两边f (x0)的符号来判定是否为函数的极值点。,函数极值的判定,实例,问题的实质:,问题,:一块长方形的金属板,四个顶点的坐标是,(1,1),(5,1),(1,3),(5,3)在坐标原点处有一个火焰,,它使金属板受热假定板上任意一点处的温度与该点,到原点的距离成反比在(3,2)处有一个蚂蚁,,问这只蚂蚁应沿什么方向爬行才能最快到达较凉快的地点?,应沿由热变冷变化最骤烈的方向(即梯度方向)爬行,梯度的概念,在几何上 表示一个曲面,曲面被平面 所截得,所得曲线在xoy面上投影如图,等高线,梯度为
10、等高线上的法向量,梯度的概念,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,例如,等高线的画法,梯度与等高线的关系:,类似于二元函数,此梯度也是一个向量,,其方向与取得最大方向导数的方向一致,,其模为方向导数的最大值.,梯度的概念可以推广到三元函数,梯度的概念可以推广到三元函数,在 处梯度,解,由梯度计算公式得,故,梯度的概念可以推广到三元函数,49,梯度下降法又称最速下降法。函数J(a)在某点ak的梯度 是一个向量,其方向是J(a)增长最快的方向。显然,负梯度方向是J(a)减少最快的方向。 在梯度下
11、降法中,求某函数极大值时,沿着梯度方向走,可以最快达到极大点;反之,沿着负梯度方向走,则最快地达到极小点。,梯度下降法,梯度下降法,51,求函数J(a)极小值的问题,可以选择任意初始点a0 ,从a0出发沿着负梯度方向走,可使得J(a)下降最快。 s(0):点a0的搜索方向。,梯度下降法,52,对于任意点ak,可以定义ak点的负梯度搜索方向的单位向量为: 从ak点出发,沿着 方向走一步,步长为 ,得到新点ak+1,表示为:,梯度下降法,53,梯度下降法,54,因此,在新点ak+1,函数J(a)的函数值为: 所有的ak组成一个序列,该序列由迭代算法生成 a0, a1, a2, . , ak, ak
12、+1, . 该序列在一定条件下收敛于使得J(a)最小的解a* 迭代算法公式:,梯度下降法,55,迭代算法公式: 关键问题:如何设计步 长 如果选得太小,则算法收敛慢,如果选得太大, 可能会导致发散。,梯度下降法,56,梯度法的迭代过程: 选取初始点a0,给定允许误差0,0,并令k=0。 计算负梯度 及其单位向量 。 检查是否满足条件 ,若满足则转8,否则继续。 计算最佳步长 。 令: 计算并检验另一判据: ,满足转8,否则继续。 令k=k+1,转2。 输出结果,结束。,梯度下降法,57,目标函数曲面J(W),58,目标函数曲面J(W) -连续、可微,59,目标函数曲面J(W) -连续、可微,6
13、0,全局极小点,61,局部极小点1,62,局部极小点2,63,目标函数曲面J(W),64,目标函数曲面J(W) -连续,65,目标函数曲面J(W) -连续、可微,66,初始状态1,67,搜索寻优梯度下降,68,搜索寻优梯度下降,69,搜索寻优梯度下降,70,搜索寻优梯度下降,71,搜索寻优梯度下降,72,搜索寻优梯度下降,73,搜索寻优梯度下降,74,搜索寻优梯度下降,75,搜索寻优梯度下降,76,搜索寻优梯度下降,77,搜索寻优梯度下降,78,搜索寻优梯度下降,79,搜索寻优梯度下降,80,搜索寻优梯度下降,81,搜索寻优梯度下降,82,目标函数全局极小点,83,目标函数全局极小点,84,目标函数全局极小点,85,目标函数全局极小点,86,目标函数曲面,87,初始状态2,88,初始状态2,89,搜索寻优梯度下降,90,搜索寻优梯度下降,91,搜索寻优梯度下降,92,搜索寻优梯度下降,93,搜索寻优梯度下降,94,目标函数局部极小点2,95,目标函数局部极小点2,96,目标函数局部极小点2,97,目标函数局部极小点2,98,目标函数局部极小点2,99,Thank You !,