马尔科夫测法

《马尔科夫测法》由会员分享，可在线阅读，更多相关《马尔科夫测法（88页珍藏版）》请在金锄头文库上搜索。

1、马尔柯夫预测马尔柯夫预测马尔柯夫（马尔柯夫（A.A Markov）预测法是应用概率论中马）预测法是应用概率论中马尔柯夫链的理论和方法来研究随机事件变化并借此尔柯夫链的理论和方法来研究随机事件变化并借此分析预测未来变化趋势的一种方法。分析预测未来变化趋势的一种方法。马尔柯夫链的基本理论马尔柯夫链的基本理论基于马尔柯夫链基本理论的基于马尔柯夫链基本理论的状态预测、状态预测、市场占有率预测和市场占有率预测和人力资源结构预测方法人力资源结构预测方法。5.1 基本概念马尔柯夫（马尔柯夫（A.A Markov 俄国数学家）。俄国数学家）。2020世纪初，他在研究中发现自然界中有一类事物的变化过程仅世纪初，

2、他在研究中发现自然界中有一类事物的变化过程仅与事物的与事物的近期状况有关近期状况有关，而与事物的过去状态无关。，而与事物的过去状态无关。 例：设备维修和更新、人才结构变化、资金流向、市场需求例：设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济行为都可用这一类过程来描述或近似。变化等许多经济行为都可用这一类过程来描述或近似。所谓所谓马尔柯夫链马尔柯夫链，就是一种，就是一种随机时间序列随机时间序列，它在将来取什么值，它在将来取什么值只与它现在的取值有关，而与它过去取什么值无关，即只与它现在的取值有关，而与它过去取什么值无关，即无后效无后效性性。具备这个性质的离散型随机过程，称为。具备

3、这个性质的离散型随机过程，称为马尔柯夫链马尔柯夫链。 概念概念:状态状态?123123基本概念4:状态、状态转移概率、状态转移概率矩阵、初始状态概率向量一、状态与状态变量一、状态与状态变量状态：状态：客观事物可能出现或存在的状况。客观事物可能出现或存在的状况。 如：商品可能如：商品可能畅销畅销也可能也可能滞销滞销；机器运转可能；机器运转可能正常正常也可能也可能故障故障等。等。同一事物不同状态之间必须同一事物不同状态之间必须相互独立相互独立:不能同时存在两种状态。不能同时存在两种状态。客观事物的状态不是固定不变的，它可能处于这种状态，也可能客观事物的状态不是固定不变的，它可能处于这种状态，也可能

4、处于那种状态，往往条件变化，状态也会发生变化。如某种产品处于那种状态，往往条件变化，状态也会发生变化。如某种产品在市场上本来是滞销的，但是由于销售渠道变化了，或者消费心在市场上本来是滞销的，但是由于销售渠道变化了，或者消费心理发生了变化等，它便可能变为畅销产品。理发生了变化等，它便可能变为畅销产品。用用状态变量状态变量来表示状态：来表示状态：它表示随机运动系统，在时刻它表示随机运动系统，在时刻 所处的状态为所处的状态为状态转移：状态转移：客观事物由一种状态到另一种状态的变化。客观事物由一种状态到另一种状态的变化。如：由于产品质量或替代产品的变化，市场上产品可能如：由于产品质量或替代产品的变化，

5、市场上产品可能由由畅销畅销变为变为滞销滞销。二、状态转移概率二、状态转移概率客观事物可能有客观事物可能有 共共 种状态，其中每次只能处种状态，其中每次只能处于一种状态，则每一状态都具有于一种状态，则每一状态都具有 个转向（包括转向自身），个转向（包括转向自身），即即 。由于状态转移是随机的，因此，必须用概率来描述状态转移可能性由于状态转移是随机的，因此，必须用概率来描述状态转移可能性的大小，将这种转移的可能性用概率描述，就是的大小，将这种转移的可能性用概率描述，就是状态转移概率。状态转移概率。概率论中的条件概率：概率论中的条件概率：P（A B）就表达了由状态）就表达了由状态 B 向状态向状态

6、A 转转移的概率，简称为移的概率，简称为状态转移概率状态转移概率。对于由状态对于由状态 Ei 转移到状态转移到状态Ej 的概率，称它为从的概率，称它为从 i 到到 j 的转移概率。的转移概率。记为：记为：它表示由状态它表示由状态Ei 经过一步转移到状态经过一步转移到状态Ej 的概率。的概率。 某地区有甲、乙、丙三家食品厂生产同一种食品，有一千个某地区有甲、乙、丙三家食品厂生产同一种食品，有一千个用户（或购货点），假定在研究期间无新用户加入也无老用户用户（或购货点），假定在研究期间无新用户加入也无老用户退出，只有用户的转移，已知退出，只有用户的转移，已知 2006 2006 年年 5 5 月份有

7、月份有 500 500 户是甲户是甲厂的顾客；厂的顾客；400 400 户是乙厂的顾客；户是乙厂的顾客；100 100 户是丙厂的顾客。户是丙厂的顾客。6 6 月月份，甲厂有份，甲厂有400 400 户原来的顾客，上月的顾客有户原来的顾客，上月的顾客有 50 50 户转乙厂，户转乙厂，50 50 户转丙厂；乙厂有户转丙厂；乙厂有 300 300 户原来的顾客，上月的顾客有户原来的顾客，上月的顾客有 20 20 户转甲厂，户转甲厂，80 80 户转丙厂；丙厂有户转丙厂；丙厂有 80 80 户原来的顾客，上月的户原来的顾客，上月的顾客有顾客有 10 10 户转甲厂，户转甲厂，10 10 户转乙厂。

8、户转乙厂。计算其状态转移概率。计算其状态转移概率。例：解：由题意得 6 月份顾客转移表 1：甲乙丙合计甲4005050500乙2030080400丙101080100合计4303602101000从从 到到 表表 1 例：三、状态转移概率矩阵三、状态转移概率矩阵将事件将事件 个状态的转移概率依次排列起来，就构个状态的转移概率依次排列起来，就构成一个成一个 N行行N 列的矩阵，这种矩阵就是列的矩阵，这种矩阵就是状态转移概状态转移概率矩阵率矩阵。通常称矩阵通常称矩阵 P 为为 状态转移概率矩阵，没有特别说明步数时，一状态转移概率矩阵，没有特别说明步数时，一般均为一步般均为一步转移概率矩阵转移概率矩

9、阵。矩阵中的每一行称之为。矩阵中的每一行称之为概率向量概率向量。转移概率矩阵的特征转移概率矩阵的特征?基本概念状态转移概率矩阵具有如下特征：状态转移概率矩阵具有如下特征：（1） （2） 三、状态转移概率矩阵及其基本特征三、状态转移概率矩阵及其基本特征三、状态转移概率矩阵及其基本特征三、状态转移概率矩阵及其基本特征状态转移概率的估算状态转移概率的估算n主观概率法主观概率法（一般缺乏历史统计资料或资料不全情况下使用）（一般缺乏历史统计资料或资料不全情况下使用）n 统计估算法。统计估算法。例例例例 设味精市场的销售记录共有设味精市场的销售记录共有设味精市场的销售记录共有设味精市场的销售记录共有 6

10、6 年年年年 24 24 个季度的数据，见表。个季度的数据，见表。个季度的数据，见表。个季度的数据，见表。求味精销售转移概率矩阵。求味精销售转移概率矩阵。求味精销售转移概率矩阵。求味精销售转移概率矩阵。季度季度123456789101112销售销售状态状态畅畅1畅畅1滞滞2畅畅1滞滞2滞滞2畅畅1畅畅1畅畅1滞滞2畅畅1滞滞2季度季度131415161718192021222324销售销售状态状态畅畅1畅畅1滞滞2滞滞2畅畅1畅畅1滞滞2畅畅1滞滞2畅畅1畅畅1畅畅1用用“1”表示畅销表示畅销用用“2”表示滞销表示滞销季度季度123456789101112销售销售状态状态畅畅1畅畅1滞滞2畅畅

11、1滞滞2滞滞2畅畅1畅畅1畅畅1滞滞2畅畅1滞滞2季度季度131415161718192021222324销售销售状态状态畅畅1畅畅1滞滞2滞滞2畅畅1畅畅1滞滞2畅畅1滞滞2畅畅1畅畅1畅畅1 共共24个季度数据，其中有个季度数据，其中有15个季度畅销，个季度畅销，9个季度滞销，现分个季度滞销，现分别统计出别统计出:连续畅销、由畅转滞、由滞转畅和连续滞销连续畅销、由畅转滞、由滞转畅和连续滞销的次数。的次数。 以以 p11 表示表示连续畅销连续畅销的可能性，以频率代替概率，得：的可能性，以频率代替概率，得： ? 分子分子 7 是表中连续出现畅销的次数，分母是表中连续出现畅销的次数，分母 15

12、是表中出现畅销的是表中出现畅销的次数，因为第次数，因为第24季度是畅销，无后续记录，故减季度是畅销，无后续记录，故减1。2个状态个状态:“1” 畅销畅销“2” 滞销滞销季度季度123456789101112销售销售状态状态畅畅1畅畅1滞滞2畅畅1滞滞2滞滞2畅畅1畅畅1畅畅1滞滞2畅畅1滞滞2季度季度131415161718192021222324销售销售状态状态畅畅1畅畅1滞滞2滞滞2畅畅1畅畅1滞滞2畅畅1滞滞2畅畅1畅畅1畅畅1 以以 p12 表示由畅销转入滞销的可能性：表示由畅销转入滞销的可能性：分子分子 7 是表中由畅销转入滞销的次数。是表中由畅销转入滞销的次数。 以以 p21 表示

13、由滞销转入畅销的可能性：表示由滞销转入畅销的可能性：分子分子 7 是表中由滞销转入畅销的次数，分母数是表中由滞销转入畅销的次数，分母数 9 是表中出是表中出现滞销的次数。现滞销的次数。2个状态个状态:“1” 畅销畅销“2” 滞销滞销季度季度123456789101112销售销售状态状态畅畅1畅畅1滞滞2畅畅1滞滞2滞滞2畅畅1畅畅1畅畅1滞滞2畅畅1滞滞2季度季度131415161718192021222324销售销售状态状态畅畅1畅畅1滞滞2滞滞2畅畅1畅畅1滞滞2畅畅1滞滞2畅畅1畅畅1畅畅1 以以 p22 表示连续滞销的可能性：表示连续滞销的可能性：分子分子 2 是表中连续出现滞销的次数

14、。是表中连续出现滞销的次数。综上所述，得销售综上所述，得销售状态转移概率矩阵状态转移概率矩阵为：为：状态转移概率矩阵完全描述了所研究对象的变化过程。状态转移概率矩阵完全描述了所研究对象的变化过程。正如前面所指出的，上述矩阵为一步转移概率矩阵。对于正如前面所指出的，上述矩阵为一步转移概率矩阵。对于多步转移概率矩阵，可按如下定义解释。多步转移概率矩阵，可按如下定义解释。定义定义 3. 若系统在时刻若系统在时刻 处于状态处于状态 ，经过，经过 步转步转移，在时刻移，在时刻 处于状态处于状态 。那么，对这种转移的可。那么，对这种转移的可能性的数量描述称为能性的数量描述称为 步转移概率。记为步转移概率。

15、记为: 并令并令三、多步状态转移概率矩阵三、多步状态转移概率矩阵称称 为为 步转移概率矩阵。步转移概率矩阵。多步转移概率矩阵，除具有一步转移概率矩阵的性质多步转移概率矩阵，除具有一步转移概率矩阵的性质外，还具有以下的性质：外，还具有以下的性质：例：例：某经济系统有三种状态某经济系统有三种状态 （如畅销、一般、滞销），（如畅销、一般、滞销），系统地转移情况见下表，试求系统的二步状态转移概率矩阵。系统地转移情况见下表，试求系统的二步状态转移概率矩阵。解：首先是写出一步状态转移解：首先是写出一步状态转移系统本步所处状态系统本步所处状态系统下步所处状态系统下步所处状态E1E2E3E121714E216

16、812E31082二步转移概率矩阵可由二步转移概率矩阵可由一步转移概率矩阵一步转移概率矩阵通过公式通过公式 ? 计算求出计算求出: 由一步转移概率矩阵求出，由公式由一步转移概率矩阵求出，由公式 计算得：计算得：记记 为过程的开始时刻，为过程的开始时刻， 则称：则称： 为为初始状态概初始状态概率向量率向量。 已知马尔科夫链的已知马尔科夫链的转移矩阵转移矩阵 以及初以及初始状态概率向量始状态概率向量 ，则任一时刻的状态概率分布，则任一时刻的状态概率分布也就确定了：也就确定了： 对对 k 1 ，记，记 则由全概率公式则由全概率公式有：有： 四、初始状态概率向量四、初始状态概率向量四、初始状态概率向量

17、四、初始状态概率向量 若记若记向量向量 ，则上式可写为：则上式可写为： 由此可得由此可得四、初始状态概率向量四、初始状态概率向量例：例：一台机床的运行状态一台机床的运行状态 机床运行存在正常和故障两种状态。由于出现故障带有随机性，故可将机床运行看作一个随时间变化的随机系统。 机床以后的状态只与其以前的状态有关，而与过去的状态无关(有无后效性)。因此，机床的运行可看作马尔科夫链。 如机床运行过程中出现故障，表示为从状态如机床运行过程中出现故障，表示为从状态 1 转移到状态转移到状态 2 ；处；处于故障状态的机床经维修恢复到正常状态即从状态于故障状态的机床经维修恢复到正常状态即从状态 2 转移到状

18、态转移到状态1。 现以现以1个月为时间单位，经统计知：从某月到下月机床出现故障的个月为时间单位，经统计知：从某月到下月机床出现故障的概率为概率为0.2 ，即，即 p12 = 0.2 。保持正常状态的概率为为。保持正常状态的概率为为 p11 = 0.8 。在这。在这一时间，故障机床经维修返回正常状态的概率为一时间，故障机床经维修返回正常状态的概率为 0.9 ，即，即 p21 = 0.9 ；不能修好的概率为不能修好的概率为 p22 = 0.1 。正常状态正常状态1故障状态故障状态2p12 = 0.2p21 = 0.9p11 = 0.8p22 = 0.1机床状态转移图机床状态转移图12p12 = 0

19、.2p21 = 0.9p11 = 0.8p12 = 0.1由机床的一步转移概率得：由机床的一步转移概率得：状态转移概率矩阵状态转移概率矩阵：若已知本月机床的状态向量若已知本月机床的状态向量 P(0) = (0.85，0.15)，要求预测机床要求预测机床两个月后的状态。两个月后的状态。问题：问题：知本月状态向量知本月状态向量 P(0) = (0.85P(0) = (0.85，0.15)0.15)，预测，预测两月两月后的状态。后的状态。 求出两步转移概率矩阵求出两步转移概率矩阵 预测：两个月后的状态向量预测：两个月后的状态向量本月处于正常状态的机床两月后仍然处于正常状态的转移概率为0.82，转移到

20、故障状态的转移概率为0.18。本月处于故障状态的机床两月后转移到正常状态的转移概率为0.81，仍然处于故障状态的转移概率为0.19。 5.2 稳态概率矩阵稳态概率矩阵: 平稳分布与稳态分布平稳分布与稳态分布在马尔可夫链中，已知系统的在马尔可夫链中，已知系统的初始状态初始状态和和状态转移概率矩状态转移概率矩阵阵，就可推断出系统在，就可推断出系统在任意任意时刻可能所处的状态。时刻可能所处的状态。现在需要研究当现在需要研究当 k 不断增大时，不断增大时，P(k) 的变化趋势。的变化趋势。 一、平稳分布一、平稳分布 预备定义预备定义:如存在非零向量如存在非零向量X=(x1，x2， ，xN)，使得：，使

21、得：X P = X 其中其中P为一概率矩阵，则称为一概率矩阵，则称 X 为为 P 的固定概率向量。的固定概率向量。一、平稳分布一、平稳分布 如存在如存在非零向量非零向量 X=(x1，x2， ，xN)，使得：，使得： X P = X 其中：其中：P为一概率矩阵为一概率矩阵 则称则称 X 为为 P 的固定概率向量。的固定概率向量。 特别地，设特别地，设 X=(x1，x2， ，xN) 为一为一状态状态概率向量概率向量， P为状为状态转移概率矩阵，若态转移概率矩阵，若 X P = X即：即：称称 X 为该马尔可夫链的一个为该马尔可夫链的一个平稳分布平稳分布 性质？性质？若随机过程某时刻的状态概率向量若

22、随机过程某时刻的状态概率向量 P(k) 为平稳分布，为平稳分布，则称过程处于平衡状态。则称过程处于平衡状态。 （X P = X）一旦过程处于平衡状态，则经过一步或多步状态转移一旦过程处于平衡状态，则经过一步或多步状态转移之后，其状态概率分布保持不变，也就是说，过程一之后，其状态概率分布保持不变，也就是说，过程一旦处于平衡状态后将永远处于平衡状态。旦处于平衡状态后将永远处于平衡状态。对于所讨论的对于所讨论的状态有限状态有限（即（即N个状态）的马尔可夫链，个状态）的马尔可夫链，平稳分布必定存在。平稳分布必定存在。特别地，当状态转移矩阵为特别地，当状态转移矩阵为正规概率矩阵正规概率矩阵时，平稳分时，

23、平稳分布布唯一唯一。 正规概率矩阵？正规概率矩阵？定义定义1：如果：如果 P 为概率矩阵，且存在为概率矩阵，且存在 m0，使，使 Pm 中诸元素中诸元素皆非负非零。则称皆非负非零。则称 P 为正规概率矩阵。为正规概率矩阵。例如：例如：均为正规概率矩阵。均为正规概率矩阵。P1为正规概率矩阵是明显的（为正规概率矩阵是明显的（m = 1）P2是正规概率矩阵也也易于论证：是正规概率矩阵也也易于论证：即存在（即存在（m = 2），使），使 P2 的元素皆非负非零。的元素皆非负非零。 是非正规概率矩阵。是非正规概率矩阵。正规概率矩阵的这一性质很有实用价值。正规概率矩阵的这一性质很有实用价值。 因为在市场占

24、有率是达到平稳分布时，顾客（或用户）的流因为在市场占有率是达到平稳分布时，顾客（或用户）的流动将对市场占有率不起影响。即各市场主体丧失的顾客（或动将对市场占有率不起影响。即各市场主体丧失的顾客（或用户）与争取到的顾客相抵消。用户）与争取到的顾客相抵消。 例：甲乙丙三个食品厂顾客的例：甲乙丙三个食品厂顾客的 32 步转移概率。步转移概率。二、稳态分布二、稳态分布 可以看到每一列都有相同的值。这说明不管可以看到每一列都有相同的值。这说明不管初始状态三个食品厂占有多少顾客，经过初始状态三个食品厂占有多少顾客，经过32月月之后处于状态之后处于状态 j 的概率都是相同的。的概率都是相同的。 即：经过多次

25、转移之后，系统存在一个处于即：经过多次转移之后，系统存在一个处于状态状态 j 的有限概率，此概率与系统原始状态无关。的有限概率，此概率与系统原始状态无关。二、稳态分布二、稳态分布 对概率向量对概率向量 =( 1， 2， ， N)，如对任意的，如对任意的 i，j S ： 则称则称 为稳态分布。为稳态分布。此时，不管初始状态概率向量如何，均有，此时，不管初始状态概率向量如何，均有，或或这也是称这也是称 为稳态分布的理由。为稳态分布的理由。 性质？性质？ 设存在稳态分布设存在稳态分布 =( 1， 2， ， N)，则，则由于下式恒成立：由于下式恒成立：令令k就得就得A：即有限状态马尔可夫链的稳态分布如

26、存在，：即有限状态马尔可夫链的稳态分布如存在，那么它也是平稳分布。那么它也是平稳分布。B：当马尔科夫链的状态转移概率矩阵为：当马尔科夫链的状态转移概率矩阵为正规概正规概率矩阵率矩阵时稳态分布存在，且稳态分布和平稳分布时稳态分布存在，且稳态分布和平稳分布相同相同且且均均唯一唯一。例例例例：设一马尔可夫链的状态转移矩阵如下，求其平：设一马尔可夫链的状态转移矩阵如下，求其平：设一马尔可夫链的状态转移矩阵如下，求其平：设一马尔可夫链的状态转移矩阵如下，求其平稳分布及稳态分布。稳分布及稳态分布。稳分布及稳态分布。稳分布及稳态分布。解解：(1) P 是正规概率矩阵是正规概率矩阵即存在（即存在（m = 2）

27、，使），使 P2 的元素皆非负非零。的元素皆非负非零。(2) 由于由于 P 是正规概率矩阵，求解如下方程组：是正规概率矩阵，求解如下方程组：这就是该马尔可夫链的这就是该马尔可夫链的稳态分布稳态分布，而且也是，而且也是平稳分布平稳分布。5.3 马尔可夫链预测法马尔可夫链预测法 马尔可夫链预测方法的最简单类型是预测下期最可能出现的状态。马尔可夫链预测方法的最简单类型是预测下期最可能出现的状态。步骤：步骤：第一步第一步：划分预测对象所出现的状态。：划分预测对象所出现的状态。从预测目的出发，考虑决策需要来划分现象所处的状态。从预测目的出发，考虑决策需要来划分现象所处的状态。第二步第二步：计算初始概率。

28、：计算初始概率。 据实际问题分析历史资料所得的状态概率称为初始概率。据实际问题分析历史资料所得的状态概率称为初始概率。第三步第三步：计算状态转移概率：计算状态转移概率第四步第四步：根据转移概率进行预测：根据转移概率进行预测 由状态转移概率矩阵由状态转移概率矩阵 P ：如果目前预测对象处于状态：如果目前预测对象处于状态Ei，这时，这时 Pij 就描述了目前状态就描述了目前状态 Ei 在未来将转向状态在未来将转向状态 Ej（j =1，2，N）的）的可能性。可能性。 按最大可能性作为选择原则：选择（按最大可能性作为选择原则：选择（Pj1，Pj2， PjN ）中最）中最大者为预测结果。大者为预测结果。

29、例：例：例：例：某商店在最近某商店在最近某商店在最近某商店在最近2020个月的商品销售量统计记录如下：个月的商品销售量统计记录如下：个月的商品销售量统计记录如下：个月的商品销售量统计记录如下：商品销售量统计表商品销售量统计表 单位：千件单位：千件 时间t1234567891011121314151617181920销售量404580 120 110 3840506290 110 130 140 120 55704580 110 120试预测第试预测第 21 期商品销售量。期商品销售量。 解：解：1 1、划分状态：按盈利状况为标准、划分状态：按盈利状况为标准（1） 销售量60千件 属于滞销（2）

30、 60千件销售量100千件 属于一般（3） 销售量100千件 属于畅销2、计算初始概率计算初始概率 Pi 为使问题更为直观，绘制销售量散点图如下，并画出状态分界线。由图可算出处于：滞销状态的有： M1= 7一般状态的有： M2= 5畅销状态的有： M3= 83、计算初始转移概率矩阵计算初始转移概率矩阵 计算状态转移概率时，最后一个数据不参加计算，因为它究竟转到哪个状态尚不清楚。M11= 3， M12= 4， M13= 0， M21= 1， M22= 1， M23= 3， M31= 2， M32= 0， M33= 5从而： P11= 3/7， P12= 4/7， P13= 0/7， P21= 1

31、/5， P22= 1/5， P23= 3/5， P31= 2/7， P32= 0/7， P33= 5/7滞销状态： M1= 7一般状态： M2= 5畅销状态： M3= 8-14、预测第预测第21月的销售情况月的销售情况 由于第由于第2020月的销售情况属于畅销状态，而经由一次转移到达月的销售情况属于畅销状态，而经由一次转移到达三种状态的概率是：三种状态的概率是：P P3131= 2/7= 2/7， P P3232= 0/7= 0/7， P P3333= 5/7= 5/7 P P3333 P P3232 P P3131 因此，第因此，第2121月超过月超过100100千件的可能性最大。千件的可能

32、性最大。 即预测第即预测第2121月的销售状态是月的销售状态是“畅销畅销”。5.4 马尔可夫链的应用马尔可夫链的应用一、市场占有率一、市场占有率例：例：东南亚各国行销上海、日本和香港三种味精，要预测在未来若东南亚各国行销上海、日本和香港三种味精，要预测在未来若干个月以后的市场占有情况。具体步骤干个月以后的市场占有情况。具体步骤3 3：第一步：进行市场调查第一步：进行市场调查、目前市场占有情况（顾客买沪、日、港味精的的百分比）。、目前市场占有情况（顾客买沪、日、港味精的的百分比）。 结果：上海味精的占40%、买日、港的各占30%，（40%、30%、30%）称为目前市场的占有分布或称初始分布。2

33、2、查清顾客的流动情况。、查清顾客的流动情况。 结果：上月买上海味精的顾客，本月仍有40%，各有30%转向买本和港味精。上月买日本味精顾客，本月有60%转向买上海味精，30%仍买日本味精，10%转向香港味精。上月买香港味精的顾客，本月有60%转向买上海味精，10%转向买日本味精，30%仍买香港味精。第二步：第二步：建立数学模型建立数学模型 为运算方便，以为运算方便，以1 1、2 2、3 3分别代表上海、日本、香港味精，分别代表上海、日本、香港味精，根据市场调查的结果，得到顾客购买味精的流动情况表。根据市场调查的结果，得到顾客购买味精的流动情况表。上海上海日本日本香港香港上海上海40%30%30

34、%日本日本60%30%10%香港香港60%10%30%第二步：第二步：进行预测进行预测 设初始市场占有的分布是（设初始市场占有的分布是（p1，p2，p3 ）=（0.4，0.3，0.3），），三个月以后的市场占有分布是（三个月以后的市场占有分布是（ p1(3)，p2(3)，p3(3) ），则预），则预测的公式是：测的公式是： p1(3) （三月后沪味精的市场占有率）：（三月后沪味精的市场占有率）：p1(3) = 0.5008 同理，同理， 三月后日、港味精的市场占有率：三月后日、港味精的市场占有率： p2(3) = 0.2496 p1(3) = 0.2496 经过经过n个月以后的市场占有率：个月

35、以后的市场占有率： 如果市场顾客流动趋势长期稳定下去，则经过一段时期以后的市场如果市场顾客流动趋势长期稳定下去，则经过一段时期以后的市场占有率将出现稳定的占有率将出现稳定的平衡状态平衡状态。 ？所谓稳定的所谓稳定的市场平衡状态市场平衡状态，就是顾客的流动，将对市场占有率不起影响，即，就是顾客的流动，将对市场占有率不起影响，即在顾客流动过程中，各牌号产品丧失的顾客将与其争取到的顾客抵消。在顾客流动过程中，各牌号产品丧失的顾客将与其争取到的顾客抵消。第三步第三步：预测长期的市场占有率。：预测长期的市场占有率。由一步转移概率矩阵由一步转移概率矩阵 P 是正规概率矩阵。所以，长期的市是正规概率矩阵。所

36、以，长期的市场占有率即为平衡状态下的市场占有率，亦即马尔可夫链的平场占有率即为平衡状态下的市场占有率，亦即马尔可夫链的平稳分布。稳分布。设设长期市场市场占有率为：长期市场市场占有率为：有有：得得：二、人力资源预测二、人力资源预测例例：某高校教师状态分为：某高校教师状态分为5类：助教、讲师、副教授、教授、流失及类：助教、讲师、副教授、教授、流失及退休。目前状态退休。目前状态(550人人)： 根据历史资料根据历史资料: 试分析三年后教师结构以及试分析三年后教师结构以及 三年内为保持三年内为保持编制不变编制不变应进多少研究生充实教师队伍？应进多少研究生充实教师队伍？ (500)一年后人员分布：一年后

37、人员分布：要保持要保持550人的总编制，流失人的总编制，流失76人，故第一年应进人，故第一年应进 76 位位新教师。新教师。第二年：第二年：补充补充74人。人。第三年：第三年：补充补充72人。人。 在第三年年底，人员结构为：在第三年年底，人员结构为：三、预测三、预测:策略与市场占有率策略与市场占有率例4 A、B、C三公司的产品市场占有率分别为50%，30%，20%。由于C公司改善了销售与服务，销售额逐期稳定上升，而A公司却下降。通过市场调查发现三个公司间的顾客流动情况如表所示。其中产品销售周期是季度。问题：按目前趋势发展，A公司产品销售或客户转移的影响将严重到何种程度？更全面的，三个公司产品的

38、占有率将如何变化？未来各期的市场占有率：C保销政策：C的市场份额不断增大，是否可持续下去？稳态市场占有率问题： P 不可约非周期，稳态市场占有率即为平衡状态下的市场占有率，亦即马氏链的平稳分布。 可解得：最佳经营策略：因于A厂不利，A厂随后制定两套方案：最佳经营策略A厂制定的两套方案：甲方案甲方案 保留策略，拉住老顾客。 新的平衡状态下、三公司的市场占有率分别为31.6，26.3，42.1，公司的市场占有率从17.65提高到31.6。 甲方案：甲方案：新的平衡状态下、三公司的市场占有率分别为31.6，26.3，42.1，公司的市场占有率从17.65提高到31.6。 乙方案乙方案 争取策略，挖客

39、户。乙方案：乙方案：在新的平衡状态下，、三家公司的市场占有率分别为33.3，22.2，44.5。 考虑费用？四、期望利润预测四、期望利润预测例例 某商品每月市场状况有畅销和滞销两种。1代表畅销，2代表滞销。如产品畅销获利50万元；滞销将亏损30万元。调查统计了过去24个月的销售记录，见下表。月份1234 56789 10 11 12销售状态月份13 14 151617 18 19 20 2122 23 24销售状态一般地一般地, ,设设 是状态空间为是状态空间为 的齐次马氏的齐次马氏链，其转移矩阵为链，其转移矩阵为 。设设r r( (i i) )表示某周期系统处于状态表示某周期系统处于状态i

40、i时获得的报酬。称如此时获得的报酬。称如此的马尔可夫链是具有报酬的。的马尔可夫链是具有报酬的。r r( (i i) )0 0时称为盈利，报酬，收益等；时称为盈利，报酬，收益等；r r( (i i) )0 0时称为亏损，费时称为亏损，费用等。用等。该产品在第n周期的状态用 表示，问题：如当前月份该产品畅销，第四月前所获得的期望总利润为多少？记 表示初始状态为 i 的条件下，到第k步状态转移前所获得的期望总报酬(k1，iS)： 以例6说明，k=4。1 1有限时段期望总报酬有限时段期望总报酬 k期k=4当前状态畅销r(i)表示某周期系统处于状态表示某周期系统处于状态i时获得的报酬时获得的报酬k期k=

41、4k期k=4k期k=4到第4 步状态转移前所获得的期望总报酬:k期k=4k期k=4k期k=4到第4 步状态转移前所获得的期望总报酬:记I递推式(考虑一般情况考虑一般情况)（再看例6）一般地，一般地，记有 例例6 6 某商品每月市场状况有畅销和滞销两种。1代表畅销，2代表滞销。如产品畅销获利50万元；滞销将亏损30万元。调查统计了过去24个月的销售记录，见下表。月份1 2 3 4 567 8 9101112销售状态月份1314151617 18 192021222324销售状态问题：如当前月份该产品畅销，第四月前所获得的期望总利润为多少？已知：都需求出状态转移概率矩阵P。i=1，有三种形式的公式

42、：月份12345678 9 101112销售状态月份13 14 15 16 17 18 19 2021222324销售状态分子数分子数7 7是表中连续出现畅销的次数，分母中的是表中连续出现畅销的次数，分母中的1515是表中出现是表中出现畅销的次数，因为第畅销的次数，因为第2424季度是畅销，无后续记录，故减季度是畅销，无后续记录，故减1 1。估计状态转移矩阵估计状态转移矩阵P P：以统计频率估计连续畅销的概率。月份1 2 3 4 567 8 9101112销售状态月份1314151617 18 192021222324销售状态结果为：如当前月份该产品畅销，第四月前所获得的期望总利润为67.5万

43、。 对iS，定义初始状态为i的无限时段单位时间平均报酬为：记则2 2无限时段单位时间平均报酬无限时段单位时间平均报酬 则称 为稳态分布稳态分布。定义定义 对于概率向量 ，如对任的 ，均有若所考虑的马尔可夫链存在平稳分布可以证明，此时:即，无限时段单位时间平均报酬与初始状态无关，均为在现实生活中，今年的一元钱将大于明年的一元钱，即，明年的一元钱折算到现在计算，就不值一元钱了，如为 ，这个 就称为折扣因子折扣因子。实际上，在企业管理中当考虑贷款、折旧等时都必须考虑到钱的增值问题。如将钱存于银行，年息为 ，则 与 有如下关系： 3 3无限时段期望折扣总报酬无限时段期望折扣总报酬( (略略) )对有报

44、酬的马氏链，定义从状态i 出发的无限时段期望折扣总报酬为对有报酬的马氏链，定义从状态i 出发的无限时段期望折扣总报酬为：于是:记则：称 为具有报酬的马氏链的三种目标函数。利用其中的任一个目标函数，可以讨论不同策略的优劣。 （示列：）称 为具有报酬的马氏链的三种目标函数。利用其中的任一个目标函数，可以讨论不同策略的优劣。 例例7 7 最最佳佳维维修修策策略略的的选选择择。研研究究一一化化工工企企业业对对循循环环泵泵进进行行季季度度维维修修的的过过程程。每每次次检检查查中中，把把泵泵按按其其外外壳壳及及叶叶轮轮的的腐腐蚀蚀程程度定为五种状态中的一种。这度定为五种状态中的一种。这五种状态五种状态是：

45、是： 状态状态1 1：优秀状态，无任何故障或缺陷；：优秀状态，无任何故障或缺陷； 状态状态2 2：良好状态，稍有腐蚀；：良好状态，稍有腐蚀； 状态状态3 3：及格状态，轻度腐蚀；：及格状态，轻度腐蚀； 状态状态4 4：可用状态，大面积腐蚀；：可用状态，大面积腐蚀； 状态状态5 5：不可运行状态，腐蚀严重。：不可运行状态，腐蚀严重。该公司可采用的维修策略有以下几种：该公司可采用的维修策略有以下几种： 单状态策略单状态策略：处于状态：处于状态5 5时才进行修理，每次修理费为时才进行修理，每次修理费为500500元。元。 两两状状态态策策略略：处处于于状状态态4 4和和5 5时时进进行行修修理理，处

46、处于于状状态态4 4时时的的修修理理费费用用每每次为次为250250元元, , 处于状态处于状态5 5时的每次修理费用为时的每次修理费用为500500元。元。 三三状状态态策策略略：处处于于状状态态3,4,53,4,5时时进进行行修修理理，处处于于状状态态3 3时时的的每每次次修修理理费费用为用为200200元元, ,处于状态处于状态4 4和和5 5时的修理费用同前。时的修理费用同前。 目前，公司采用的维修策略为目前，公司采用的维修策略为“单状态单状态”策略。策略。 假假定定不不管管处处于于何何种种状状态态，只只要要进进行行修修理理，状状态态都都将将恢恢复复为为状状态态1 1。已知在不进行任何

47、修理时的状态转移概率，如下表所示。已知在不进行任何修理时的状态转移概率，如下表所示。问题：确定哪个策略的费用最低。目标为长期运行单位时间平均报酬。问题：确定哪个策略的费用最低。目标为长期运行单位时间平均报酬。 需知 r 和 P.不维修时的状态转移概率矩阵：与 i 无关。单状态策略下单状态策略下：解得：从而两状态策略下：两状态策略下：解得：从而三状态策略下：三状态策略下：解得：从而单状态策略下单状态策略下：两状态策略下：两状态策略下：三状态策略下：三状态策略下：因此，两状态策略为最优策略，平均每周期的费用为90.50元。 1.设某市场销售甲、乙、丙三种牌号的同类型产品，购买该产品的顾客变动情况如

48、下：过去买甲牌产品的顾客，在下一季度中有15%的转买乙牌产品，10%转买丙牌产品。原买乙牌产品的顾客，有30%转卖甲牌的，同时有10%转卖丙牌的。原买丙牌产品的顾客中有5%转买甲牌的，同时有15%转买乙牌的。问经营甲种产品的工厂在当前的市场条件下是否有利于扩大产品的销售？练习(第6章)2.某产品每月的市场状态有畅销和滞销两种，三年来有如下记录，见下表。“1”代表畅销，“2”代表滞销，试求市场状态转移的一步和二步转移概率矩阵。 其中矩阵元素 表示上月购买 i 牌号彩电而下月购买 j 牌号彩电的概率； 分别表示甲乙丙和其他牌号彩电。 3.某市三种主要牌号甲乙丙彩电的市场占有率分别为23%、18%、

49、29%，其余市场为其它各种品牌的彩电所占有。根据抽样调查，顾客对各类彩电的爱好变化为1) 试建立该市各牌号彩电市场占有率的预测模型，并预测未来3个月各种牌号彩电市场占有率变化情况；2） 假定该市场彩电销售量为4.7万台，预测未来三个月各牌号彩电的销售量；3）分析各牌号彩电市场占有率变化的平衡状态；4）假定生产甲牌彩电的企业采取某种经营策略（例如广告宣传等），竭力保持了原有顾客爱好不向其它牌号转移，其余不变。分析彩电市场占有率的平衡状态。4. 某高校教师队伍可分为助教、讲师、副教授、教授、流失及退休五个状态。1998年有助教150人，讲师280人，副教授130人，教授80人。据历史资料，可得各类职称转移概率矩阵如下： 5. 例7中试对无限时间期望折扣总报酬准则讨论三个策略的优劣。假定6. 在具报酬的马尔可夫链中，如果对有限阶段也考虑折扣，试给出有限时间段期望折扣总报酬的定义及其递推公式。