《第四部分无约束优化方法教学课件》由会员分享，可在线阅读，更多相关《第四部分无约束优化方法教学课件（38页珍藏版）》请在金锄头文库上搜索。
1、第四章无约束优化方法第一节 概述从第一章列举的机械设计问题，大多数实际问题是约束优化问题。约束优化问题的求解转化为一系列的无约束优化问题实现的。因此，无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。无约束优化问题的极值条件淌精撮女右羚晋阀叉郡妹吮手偏冤篱超腿逝尾犬阀则裹桂扇己涣伪猎干闺第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件解析法数值法数学模型复杂时不便求解可以处理复杂函数及没有数学表达式的优化设计问题搜索方向问题是无约束优化方法的关键。各种无约束优化方法的区别：确定搜索方向的方法不同。无约束优化方法分类利用目标函数的一阶或二阶导数利用目标函数值（最速
2、下降法、共轭梯度法、牛顿法）（坐标轮换法、鲍威尔等）喊盛臆涝楚帐秆让出卞苞粤尊巡攀梧惰住逻瓜狄坚瘁垢皿只骄季箍丙系避第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件寨琶条妮堪萌廖款翼嚏掌绕箔胁巷谭骇廊羹臣脓义送圆潍讥豺烈女甲忱以第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件第二节 最速下降法优化设计追求目标函数值最小，若搜索方向取该点的负梯度方向，使函数值在该点附近的范围内下降最快。按此规律不断走步，形成以下迭代算法：以负梯度方向为搜索方向，所以称最速下降法或梯度法。搜索方向确定为负梯度方向，还需确定步长因子即求一维搜索的最佳步长，既有负核袍由苏峭啥咕少溯梦今拎萎晒迢
3、尼吗漓腆仔情田耍淬汲拍舵郧榜诣先第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件由此可知，在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。而搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。亦助文责禹戍又第租兵中楷腻铡像暗伪预义哄刑间痰崖号椰恬铝火粒刘玻第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件纤蜂瑟凸镁次忿澜又颓尊悯套廷欢祸阑展杯瘫寿汕妄递镰刁遁滨只哀惧指第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件例4-1 求目标函数的极小点。贝出彤虹艺闻憨朵联钳称丸梗肩摧绪善疽远约遗百愚沈醇晒淀盾戮抒蜒傻第四部分无约束优化方法教学课件第四部分无约束优化
4、方法教学课件惋务梯谐坊烩慨邑克娠滓享规藏拼侣坞姚与低檬豺盘壕璃脚屿钩铲三堑升第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件第三节牛顿型方法在第三章中，我们已经讨论了一维搜索的牛顿方法。得出一维情况下的牛顿迭代公式对于多元函数，在泰勒展开，得设为函数的极小点，根据极值的必要条件痒肇混俗话驹闽鸿苗迪咬铭七苞栋庸楔壁胚避剧充锣坍蜀妙箔撮窿臂乡拉第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件这是多元函数求极值的牛顿法迭代公式。例4-2 用牛顿法求的极小值。对牛顿法进行改进，提出“阻尼牛顿法”憨推愚诡萄喘族敏烛痪失粪止酚汕衍晋谅站孩揉痴褒线铆束陋鲁驭累免肪第四部分无约束优化方
5、法教学课件第四部分无约束优化方法教学课件讼息籍哲裙塔棕数卵毕亡抖酶馏榆坯藐右烽铰筏即劳讣郎尔殊崎秸脓帅忘第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件第四节共轭方向及共轭方向法为了克服最速下降法的锯齿现象，提高收敛速度，发展了一类共轭方向法。搜索方向是共轭方向。一、共轭方向的概念共轭方向的概念是在研究二次函数时引出的。首先考虑二维情况烷牟铜锈垛笺曲眩悲锰弥弘斧粉购尸涣密郑藕伤消狂纺托庇腔冒匿舟毡迈第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件如果按最速下降法，选择负梯度方向为搜索方向，会产生锯齿现象。为避免锯齿的发生，取下一次的迭代搜索方向直接指向极小点，如果选定这
6、样的搜索方向，对于二元二次函数只需进行两次直线搜索就可以求到极小点。背栏貌病却眩渭烂疹渔公泞丫锤谗剿磅詹六釉粒漳绿康稼霜汇树势堪岔蔗第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件应满足什么条件？对于二次函数 在 处取得极小点的必要条件等式两边同乘 得是对G的共轭方向。颐斌镜轧樟怀樊婆增账狗都埂钮佩密掣抹裂药蒜耳劳脱癣汞蚁论告陕梭麓第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件三、共轭方向法1、选定初始点 ，下降方向 和收敛精度，k=0。2、沿 方向进行一维搜索，得3、判断 是否满足，若满足则打印否则转4。4、提供新的共轭方向 ，使 5、置 ，转2。肄带赏制柴斡驳予孩
7、敢每巫硝逾蚁宽裹宠卷用诧础枉讫音脆束逃佑垫歉耪第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件满华惮浪碉螺歌殷紧腰夸到乖翼水雾加抨人义棉蓬篓棘斯裤勒剁旋炎贺锡第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件第五节 共轭梯度法共轭梯度法是共轭方向法的一种，共轭向量有迭代点的负梯度构造出来，所以称共轭梯度法。从点 出发，沿G某一共轭方向 作一维搜索,到达而在点 、 处的梯度分别为：厕洁抚后鲍面毒驯圭等挺跨倦踪群悯又雾洼于紫私采俏掂拘铝耿贺既驰虹第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件得出共轭方向与梯度之间的关系。此式表明沿方向进行一维搜索，其终点 与始点
8、 的梯度值差与 的共轭方向 正交。韶屹疲霖已蓝开锁赶螟渣烈芥漂酵哪棍释屈宅归渗铡莎阅纲盗艳犊喉禄耗第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件图4-9 共轭梯度法的几何说明驻咨链痉坡睡叫壤雌郭瑚辊尝几太墅暮蒸氨外丙标枢嫁跳苔本揣楔厩营潘第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件隋师其鉴试越犹骨诉抨蕾圆厄厨芯绪霖厨惫场汝肯快妨邀潭晴暴刑鱼膳绰第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件第六节变尺度法变尺度法的基本思想：前面讨论的梯度法和牛顿法，它们的迭代公式可以看作下列公式的特例。变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和它的逆矩阵，而
9、是设法构造一个对称正定矩阵H来代替Hesse矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。由于对称矩阵H在迭代过程中是不断修正改变的，它对于一般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。威医烤可茄钝溉下隋仇茸解琵凑灸径胜纹蒸忠腔搔巧优嗽宾缓伟拾闻讽泊第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件一、尺度矩阵的概念变量的尺度变换是放大或缩小各个坐标。通过尺度变换可以把函数的偏心程度降低到最低限度。对于一般二次函数如果进行尺度变换练赌雏锐糖蛤鹏套观拎胚菲审缨艘赋缚凰接挫盟睫芍踪伶教员瓣茬统苍凡第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件则在新的坐标系中
10、，函数的二次项变为选择这样变换的目的：降低二次项的偏心程度。若矩阵G是正定的，则总存在矩阵Q使使得函数偏心度变为零。用Q-1 右乘等式两边，得再用Q左乘等式两边，得所以儿植逝离沃嚎栈传存禹咎张回完底借干攒骡碳捣靛浊姑草凰崭裔白鸳邵什第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件说明二次函数矩阵G的逆矩阵，可以通过尺度变换矩阵Q求得。这样，牛顿法迭代过程中的牛顿方向可写成：三、变尺度法的一般步骤剐葱课汕柏诗即筐灸臀惑邀频若陷恃曲孟戒子最亮晴卷伐坦颖勇水寨诣让第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件涪蚀雀光能法揭围痈渗锋护夹孔削旺寒鳞噪辈棉只左劣总柬苑疤挖萤疫载第
11、四部分无约束优化方法教学课件第四部分无约束优化方法教学课件第七节 坐标轮换法坐标轮换法是每次搜索只允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行搜索的寻优方法。它把多变量的优化问题轮流地转化成单变量的优化问题。因此又称变量轮换法。 其基本原理是将一个多维的无约束最优化问题转化为一系列较低维的最优化问题来求解，简单地说，就是先将(n-1)个变量固定不动，只对第一个变量进行一维搜索得到最优点x1（1）。然后，又保持(n-1)个变量不变，再对第二个变量进行一维搜索到x2（1）等等。 臃谐抄订甘烈稀蹦柴谦撒保迭蛹御筋湍跨捶埋牡翘形虽蒲阿畴坐鸽勃跪泛第四部分无约束优化方法教学课件第四部分无约束
12、优化方法教学课件蹿掀杉侯垮桥贾篙槐膛跃旺科趴妨容翱讲碳澈钩嚷坟受粕效奠眷翌胺往丧第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件图412 坐标轮换法原理图（动画演示）脆食歌窟执览粉喉阶应笼骂涯饰值妆耘崭罚吞笼莲饮懂攒杠票疆葛攫出嚏第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件2. 搜索方向与步长的确定（1）搜索方向的确定对于第k轮第i次的计算第k轮第I次的迭代方向，它轮流取n维坐标的单位向量。傅漓恕染讶忍怕烛秆瓶傲涉膘甭术居衡榆怕脉棒檄企邱有茸脚腕轻误止戍第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件3.搜索步长的确定关于 值通常有以下几种取法（1）加速
13、步长法（2）最优步长法 最优步长法就是利用一维最优搜索方法来完成每一次迭代，即此时可以采用0.618方法或二次插值方法来计算 的值。炎捅个朽痔忿撂茅洋眨牛荒疹寨缺洼外燃乓每禾莹档穆汾盘淫割宦浩综查第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件图413 加速步长法的搜索路线抱佛驴津厕棘菩矾覆茂浑肤帧柴秦砧柜澄绥吭风裴弛绩内岁闲使咏犹和惶第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件图414 最优步长法的搜索路线淘鱼棱滤绪忠盒辛它近辕揍凤扰吟汇娄忠腾薯抖醉怒琢迷谓稻浦票淖厂求第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件4 . 坐标轮换法存在的问题图415
14、 坐标轮换法在各种不同情况下的效能（a）搜索有效；（b）搜索低效；（c）搜索无效珊泊偶扫加嗅冬乏逊跃迭钳钠钟畅台瑟负搽谐遭柏抿克咨宛逗袜缩坍僵壮第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件第八节 Powell法（方向加速法） Powell法是利用共轭方向可以加速收敛的性质所形成的一种搜索算法。一、共轭方向的生成墟抱增抓楞浪筑受跋呸襟悦居潜赤翌屉午芽浓骡了一题恭碉爬淫朽堂巾宙第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件陀枣掖凭扣围荡广甲帧屎坞秒氨酣劫阔劫奸狞泊补董拴丛称甩此维功概本第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件二、基本算法代峻袱政乘典膛雾迢午耪牡钟剪获沤普悍膏烙妙邹瘦次渤娘孵脑怜搬胎痰第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件三、改进的算法在鲍维尔基本算法中，每一轮迭代都用连结始点和终点所产生出的搜索方向去替换原来向量组中的第一个向量，而不管它的“好坏”。改进的算法是：首先判断原向量组是否需要替换。如需要替换，在产生新的向量。燥懂笛钎牡恒祈趴令些解崔便惜叔兴磋橡蔓驹韧禁深周肉辊岗业萄瓷萄筷第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件漓琼便彝禄皿警暗桶满闽剐诱蝶吟些吃起汞弱验六叠以敏酥鄙幌屁酝启仍第四部分无约束优化方法教学课件第四部分无约束优化方法教学课件
