《数理经济学动态最优化基础》由会员分享，可在线阅读，更多相关《数理经济学动态最优化基础（7页珍藏版）》请在金锄头文库上搜索。
1、第四章第四章 动态最优化基础动态最优化基础4.14.1 动态最优化的基本问题动态最优化的基本问题例：最短路问题例：最短路问题 图 4.1 给出了从城市 A 到城市 B 的路线图（省略了距离单位标注） 。现求一条从 A 到 B 的最短路线。图 4.1 显然，为了从 A 到 B，必须先逐步经过 C1、C2、C3、C4 等诸城市。而在 C1、C2、C3、C4，又都有多种选择。而关键性的困难是当前的最优选择不一定是全局的 最优。 这类问题也称为多阶段决策问题。 4.24.2 动态最优化的基本概念动态最优化的基本概念阶段：阶段：将全过程分为若干个有相互联系的阶段，常用字母 t、k 表示； 状态：状态：系
2、统在不同阶段性态。一般来说，系统在一个阶段有多个状态。系统在某一阶 段的所有可能的状态构成的集合成为状态集，记为 Sk； 状态变量：状态变量：表示系统状态的变量，记为 sk。它与阶段有关； 决策：决策：在某一阶段的某一状态下，系统由该状态演变到下一阶段某一状态的选择。在 第 k 阶段，处于状态 sk时的所有可能的决策集记为 Dk（sk） ； 决策变量：决策变量：描述决策的变量，它与阶段与系统在该阶段的状态有关。在第 k 阶段，处 于状态 sk时的决策记为 dk（sk） ； 状态转移：状态转移：从当前阶段的某一状态转移到下一阶段的某一状态。 状态转移方程：状态转移方程：描述状态转移规律的数学方程
3、。它是当前状态变量与决策变量的函数， 即；) ,(1kkkkdsTs策略：策略：从起点到终点的每一阶段的决策所构成的决策序列，称为（全局）策略。自某一阶段起，至终点的决策称为子策略，记为。)(,),()(11,nnknksdsdspL指标（目标）函数：指标（目标）函数：性能指标或效用指标，它用来评价决策的效果。它可分为阶段指 标与全局指标两类。 阶段指标是指衡量某一阶段在某一状态下的决策效果的指标。它仅依赖当前状态和当前决策。记为；)(,(kkkksdsv全局指标是指衡量整个全过程或自某一阶段起至终点的各阶段决策的总体效果的指标。 它是所有各阶段的状态和决策的函数，即),(11,nnkkkkn
4、kdsdsdsVL动态最优化的主要问题是寻找一个策略，使全局指标最优。此策略称为动态系统的最 优解。注意，最优解是各阶段状态的函数，其含义是在各个阶段，当处于不同的状态下应 选择的（从全局）最优决策。 动态最优化的分类动态最优化的分类 离散阶段、离散状态的动态优化问题； 离散阶段、连续状态的动态优化问题（如长期投资问题） ； 连续阶段、离散状态的动态优化问题； 连续阶段、连续状态的动态优化问题（如追击问题、长期投资问题） 。 处理动态最优化的常用方法： 1） 变分方法； 2） 极大极小原理（Pontryagin 原理） ； 3） 动态规划（Bellmen 方法） 。 4.34.3 动态规划方法
5、动态规划方法对于动态规划而言，它要求过程的全局指标函数是各阶段指标的和它要求过程的全局指标函数是各阶段指标的和，即),(11,nnkkkknkdsdsdsVL nkiiiiisdsv)(,(动态规划最优化原理（动态规划最优化原理（Richard Bellman） 作为整个过程的最优策略具有这样的性质：无无论过论过去的状去的状态态和决策如何，和决策如何，对对前面决策前面决策 所形成的状所形成的状态态而言，余下的而言，余下的诸诸决策必决策必须须构成最构成最优优策略。策略。该原理可以这样理解：如果在某一阶段的某一状态位于全局最优路径上，则以它为起 点到终点的最优策略一定与全局最优策略重合。 由基本原
6、理，不难得到动态规划的函数基本方程（反向递归方程）：0)(1 , 1, )()( )()(,()()(1111nnkkkkkkkkkkkksfnnksDsdsfsdsvMinMaxsfL其中，表示在第 k 阶段的某一状态下到终点的最优指标函数。)(kksf例：求前例的最短路。 （反向递归） 例：某商店在未来四个月里销售一种商品。它有一个最大容量为 1000 件的仓库。该 商店每月中旬订购商品，下月初到货。经市场调查，今后四个月商品的购买价与销售价如 下表所示。假定商店在 1 月初已有 500 件库存商品，在不考虑市场需求和库存费用的条件下，问如何安排每月的订购量和销售量，使 6 个月的总利润最
7、大。月份购买价 pk销售价 qk110122993111341517解：这是一个四阶段决策问题。决策变量是每月的订购量 xk，销售量 yk。取状态变量 为每月的库存量，记为 sk；并记仓库最大容量为 H=1000。显然，状态转移方程为kkkkyxss1基本函数方程为 0)(1 , 2 , 3 , 4 0 y0 )(),()(1111nnkkkkkkkkkkkkksfksyHxssfyxsvMaxsf利用后向算法求解。令，解约束极值问题：4k1517)(4444xyMaxsf440sy 4440syHx显然，该优化问题的解是，此时，。4* 4sy 0* 4x44417)(ssf令，有优化问题3k
8、)(1113)(443333sfxyMaxsf)(17111333333xysxyMax)6417333xysMax330sy 3330syHx这是一个线性规划问题，解之，有，。Hx * 33* 3sy Hssf613)(333令，有优化问题2k)44136)(22222xysHMaxsf220sy 2220syHx其最优解为，。Hx * 22* 2sy Hssf109)(222令，得1k)3910)(11111xysHMaxsf110sy 1110syHx其最优解为，。0* 1x1* 1sy Hssf1012)(111最后，注意到初始条件，对上述求出的最优解逐步回代，得到5001s1000H
9、该问题的最优解：， ；0* 1x5001* 1 sy， ；1000* 2 Hx0* 1* 112* 2yxssy， ；1000* 3 Hx1000* 2* 223* 3yxssy， 。0* 4x1000* 3* 334* 4yxssy在用动态规划方法解多阶段决策问题时，除了反向递归函数方程和反向递归算法外， 还有正向递归函数方程和正向递归算法。0)(, 1, 2 , 1 )()( )()(,()()(0011sfnnksDsdsfsdsvMinMaxsfkkkkkkkkkkkk L一般来说，若已知初始条件，则用反向递归算法，若已知终端条件，则用正向递归算 法。 最后要指出，若考虑连续阶段的动态
10、规划问题，则上述目标函数中的求和就变成了积 分。 4.44.4 变分方法变分方法考虑下列优化问题 A：TdttytytFyOptV 0)(),(,()(满足条件 and 。AY)0(ZTy)(在这个问题中，是未知函数。由于目标函数中的积分是函数的函数，故常称这类)(ty函数为泛函。该问题可以认为是一个连续阶段的多阶段决策问题。其中，可以认为是决策变量，)(ty可以认为是状态变量，而目标泛函是各阶段效用函数的累积。)(ty由于变分方法是用古典微积分方法处理这类问题，所以通常要求未知泛函是连续可导 的。 一阶必要条件（一阶必要条件（Euler 方程）方程）若连续可导函数是问题 A 的解，则满足下列
11、方程：)(ty)(ty0)()( yy tyyyyFFtyFtyF在不同的经济问题中，问题 A 形式可能有所不同，主要是积分的上下限、端点条件以 及被积函数 F 有所改变。此时，Euler 方程的形式也会有一定的变化。 例：（通货膨胀与失业的折衷）通货膨胀和失业都会造成社会福利损失。因此，希望 找到这两者之间在时间上的组合，使社会福利损失最小。 社会福利损失函数：设在理想经济中，其充分就业的收入水平为，通货膨胀率为 0。实际就业率 Y 对fY的任何偏离及实际通货膨胀率 p 对 0 的任何偏离都是社会福利损失。因此，我们假设社fY会福利损失函数为22)(pYYf0与 p 之间的折衷可假设为YYf
12、)(YYpf称为菲利普斯折衷。其中，是预期通货膨胀率。 假设预期通货膨胀率的形成是自适应的：)(pjdtd10 j于是有)(YYjj即jYYf于是有jp最后得到22 ),( jj这样，政府的问题就是在时间区间0，T上，寻找的最优路径，使社会福利损失函 数最小。假设初始通货膨胀率预期为，期末通货膨胀预期为 0（政策目标） ，社会福利损失0的折现率为。则政府的政策目标是MaxdtetT),()( 0s.t. 0)0(0)(T容易算得，该问题的欧拉方程是0 其中，01)(22 jj该方程是一个二阶常系数线性微分方程，其解为trtreAeAt21 21*)(且)4(21,2 21rr显然有，。01r0
13、2r由初始条件，不难求出 A1和 A2为，。TrTrTreeeA 212 0 1TrTrTreeeA 211 0 24.54.5 最优控制理论最优控制理论基本问题基本问题 B：TdtuytFVMax 0),( 满足 ，自由，以及，对于所有的。),(uytfy Ay)0()(TyUtu)(, 0Tt 在这个问题中，y 称为状态变量；u 称为控制（策略） ；积分称为目标泛函；微分方程称为运动方程（状态方程） ；U 称为控制集。U 通常是。) , (若状态方程是，将其代入目标泛函，则变成了一个变分问题。uy 令),()(),(),(uytftuytFuytH称为问题 B 的汉密尔顿（Hamiton）函数。 （庞德理雅金）极大值原理（一阶必要条件）（庞德理雅金）极大值原理（一阶必要条件）设是问题 B 的解，则一定也是下列问题的解)(*tu)(*tu),(uytHMax u),(uytfHyyH 0)(T
