单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第六级,第七级,第八级,第九级,4/16/2019,#,*第六讲,马尔可夫型决策,数学人教,B,版高中选修,4-9,风险与决策,*第六讲马尔可夫型决策数学人教B版高中选修4-9风险与,1,教学目标,知识与能力,熟悉马尔可夫型决策，能够独立地对马尔可夫型决策进行某一时间段和短期的风险决策,.,教学目标知识与能力 熟悉马尔可夫型决策，能够独,2,过程与方法,通过对普通风险决策的回顾，对马尔可夫链做进一步理解，结合前面的风险型决策对比的学习马尔可夫型决策,.,过程与方法 通过对普通风险决策的回顾，对马尔可,3,情感态度与价值观,通过与普通风险决策比较的学习，使学生能够迅速的接受和理解马尔夫型决策,.,情感态度与价值观 通过与普通风险决策比较的学习，,4,重点：,转移概念矩阵，平均收益矩阵,.,难点：,马尔可夫型决策案例分析,.,教学重难点,重点：转移概念矩阵，平均收益矩阵.难点：马尔可夫型决策案例分,5,案例,4,某工厂的一台自动加工机有,2,种工作状态,:,正常状态和故障状态,.,在每个整数钟点的起始时刻检查机器的工作情况,，,若机器处于正常状态,，,则让它继续工作,;,若机器处于故障状态,，,则对他进行检修,.,假设处于正常状态的机器,，,在一小时后发生故障的概率为,0.05,，对于故障机器有,2,种检,案例分析,案例4 某工厂的一台自动加工机有2种工作状态:正常状态和故,6,修方案可供选择，,一种是加急检修，在,一小时内,排除故障的概率为,0.9,；,一种是,常规检修,，在一小时内排除故障的概率为,0.6,.,已知这台机器正常工作一小时可,收益,10,元，加急检修,1,小时费用为,9,元，常规检修一小时费用为,6,元，若机器出现故障，该选择哪种方案？,修方案可供选择，一种是加急检修，在一小时内排除故障的概率为0,7,先写出行动方案和可能状态,决策目标是使机器产生收益最大，可供选择的行动方案有：,：,加急检修，,：,常规检修,.,机器在任意时刻可能所处的状态：,：,正常状态，,：,故障状态,.,先写出行动方案和可能状态 决策目标是使机器产生收,8,机器在第,n,小时的工作状态 与时间有关,，,显然 是一个马尔可夫链,，,状态分布列随着,时间的变化也在不断变化,.,普通风险决策分布列保持不变可表示为,h,p,1-,p,机器在第n小时的工作状态 与时间有关，h,9,行动方案,d,1,转移概率矩阵为,行动方案,d,2,的转移概率矩阵为,然后写出状态转移矩阵,行动方案d1 转移概率矩阵为行动方案d2的转移概率矩阵为然后,10,设定时间段 ，则收益,矩阵为,假设机器最开始为正常工作状态，,则初始分布,为,写出收益矩阵，初始分布,设定时间段,11,时刻,n,的分布和时刻,n,+1,的分布的关系？,想一想,时刻n的分布和时刻n+1的分布的关系？想一想,12,在行动方案,d,1,下，时刻,1,的分布,时刻,2,的分布,在行动方案d1下，时刻1的分布时刻2的分布,13,时刻,n,的分布为,时刻n的分布为,14,在行动方案,d,2,下，时刻,n,的分布,在行动方案d2下，时刻n的分布,15,假设初始状态为正常状态，行动,d,1,在时间段 内的平均收益为,行动方案,d,2,在时间段 内的平均收益为,3,写出平均收益矩阵,假设初始状态为正常状态，行动d1在时间段,16,不设定初始情况,，,则行动方案,d,1,在时间段,内的平均收益为,行动方案,d,2,在时间段 内的平均收益为,不设定初始情况，则行动方案d1在时间段 行,17,假设初始状态为正常状态，则两行动,方案前,10,个时间段平均收益为,时间段,9.0500,9.2000,9.025,8.9200,9.001,8.8220,9.0000,8.7693,假设初始状态为正常状态，则两行动时间段9.05,18,最后，根据题目要求选择最大收益决策，,当确定某一确定时刻,n,，,在时间段 内,进行决策,时,，,这类问题是短期准则下的马尔可夫,型决策,，,当在时间段内 进行决策时,，,我们,称为长期准则下的马尔可夫型决策,，,这类,问题,将在下一节中讲,.,最后，根据题目要求选择最大收益决策，,19,The End,The End,20,。