《马尔可夫链分析法》由会员分享，可在线阅读，更多相关《马尔可夫链分析法（22页珍藏版）》请在金锄头文库上搜索。
1、马尔可夫链分析法马尔可夫链马尔可夫链马尔可夫链：一种随机时间序列，它在将来取什马尔可夫链：一种随机时间序列，它在将来取什么值只与它现在的取值有关，而与它过去取什么么值只与它现在的取值有关，而与它过去取什么值无关。这种性质称为无后效性。值无关。这种性质称为无后效性。形象示意：青蛙在若干荷叶上跳跃形象示意：青蛙在若干荷叶上跳跃, ,下一位置仅与下一位置仅与当前位置有关。当前位置有关。状态概率向量：状态概率向量：设马尔可夫链在设马尔可夫链在 tK 时取状态时取状态E1 E2 En的概率分别为的概率分别为p1 p2 pn 而而0Pi1， 则向量则向量P1P2 Pn称为称为tK时的状态概率向量。时的状态
2、概率向量。一步转移概率：一步转移概率： 设系统可能出现设系统可能出现N个状态个状态E1 E2 En，则系统由则系统由tK时刻从时刻从Ei转移到转移到tk+1时刻时刻Ej状态的概状态的概率就称为从率就称为从i到到j的转移概率的转移概率.状态转移概率矩阵状态转移概率矩阵状态转移概率矩阵：在一定条件下，系统只能在状态转移概率矩阵：在一定条件下，系统只能在可能出现的状态可能出现的状态E E1 1 E E2 2 E En n中转移，系统在所有中转移，系统在所有状态之间转移的可能性用矩阵状态之间转移的可能性用矩阵P P表示，称表示，称P P为状态为状态转移概率矩阵。转移概率矩阵。转移概率矩阵具有下述性质:
3、正规概率矩阵及性质正规概率矩阵及性质概率向量：元素均为非负数且总和为概率向量：元素均为非负数且总和为1的向量。的向量。概率矩阵：方阵的各行概率矩阵：方阵的各行(或各列或各列)都是概率向量。都是概率向量。概率阵性质：若概率阵性质：若A、B是概率阵，则是概率阵，则AB、An也是。也是。固定概率向量固定概率向量(均衡点均衡点)：若：若U是是n维概率向量维概率向量,A是是n阶方阵，且有阶方阵，且有UA=U，则称，则称U是是A的均衡点。的均衡点。正规概率矩阵：对概率阵正规概率矩阵：对概率阵P，若存在某个正整数，若存在某个正整数m,使得使得Pm所有元素大于零所有元素大于零,则称则称P为正规概率矩阵。为正规
4、概率矩阵。正规概率阵正规概率阵P的性质：的性质：多步转移多步转移多步转移概率多步转移概率: 若系统在时刻若系统在时刻t0处于状态处于状态i,经过经过n步步转移，在时刻转移，在时刻tn处于状态处于状态j，这种转移的可能性的，这种转移的可能性的数量指标称为数量指标称为n步转移概率步转移概率,记为记为性质性质1:设一步转移概率矩阵为设一步转移概率矩阵为 P(1)=P 则则P(n)=Pn 。性质性质2：系统处在：系统处在 j 状态的概率与它在很远的过去处状态的概率与它在很远的过去处在什么情况无关。在什么情况无关。市场占有率预测示例市场占有率预测示例之一之一内容内容已知市场上有已知市场上有A，B，C三种
5、牌子的洗衣粉，上月的市场占三种牌子的洗衣粉，上月的市场占有分布为有分布为(0.3 0.4 0.3)，且已知转移概率矩阵为，且已知转移概率矩阵为P。试求本。试求本月份和下月份的市场占有率？月份和下月份的市场占有率？解：解：1、求本月份市场占有率、求本月份市场占有率2、求下月份市场占有率、求下月份市场占有率 计算结果说明，在顾客计算结果说明，在顾客( (或用户或用户) )购买偏好改变不大情况下，购买偏好改变不大情况下，下个月下个月A A牌洗衣粉市场占有率牌洗衣粉市场占有率22.5%22.5%，B B牌洗衣粉市场占有率为牌洗衣粉市场占有率为34.7%34.7%，C C牌洗衣粉的市场占有率为牌洗衣粉的
6、市场占有率为42.8%42.8%。状态转移概率的估算状态转移概率的估算估算方法一般有二种估算方法一般有二种:一是主观概率法一是主观概率法(缺乏历史统缺乏历史统计资料或资料不全情况下使用计资料或资料不全情况下使用)。二是统计估算法。二是统计估算法。例例设味精市场的销售记录共有设味精市场的销售记录共有6年的年的24个季度的数个季度的数据见表。试求味精销售状态转移概率矩阵。据见表。试求味精销售状态转移概率矩阵。上表中共有上表中共有24个季度数据，其中有个季度数据，其中有15个季度畅销个季度畅销,9个季度滞销。经统计得出连续畅销个季度滞销。经统计得出连续畅销7次、由畅销转次、由畅销转为滞销为滞销7次、
7、由滞销转为畅销次、由滞销转为畅销7次和连续滞销次和连续滞销2次。次。转移概率统计估算方法转移概率统计估算方法对于一般的情况，假定系统有对于一般的情况，假定系统有m种状态种状态S1,S2,.,Sm，根据系统的状态转移的历史记录，得出各状态，根据系统的状态转移的历史记录，得出各状态间转移次数得分类统计表格，由此估计状态间转移次数得分类统计表格，由此估计状态i转移转移到状态到状态j的转移概率的转移概率pij。期望利润示例期望利润示例某品牌味精市场销售情况有畅销某品牌味精市场销售情况有畅销1、滞销、滞销2两状态。转移概两状态。转移概率分别为率分别为p11=0.6,p12=0.4,p21=0.54,p2
8、2=0.46构成转移概率矩构成转移概率矩阵阵P；获利情况为；获利情况为r11=30,r12=10,r21=15,r22= - -10构成利润矩阵构成利润矩阵R。预测三期后的期望利润。预测三期后的期望利润。解：用解：用Vi(n)表示在表示在i状态下转移状态下转移n期后的期望利润期后的期望利润,可构成各可构成各状态转移状态转移n期后期望利润列向量期后期望利润列向量V(n),则：则：若当前畅销若当前畅销,则三期后期望利润为则三期后期望利润为50.76,当前滞销当前滞销,则三期后为则三期后为31.08。期望利润预测公式期望利润预测公式有利润的马氏链有利润的马氏链: 若状态若状态i转入状态转入状态j的概
9、率为的概率为pij,记记P=(pij),同时产生利润同时产生利润rij, 由由rij构成的矩阵构成的矩阵R=(rij)称利润称利润矩阵。通常称转移概率矩阵和利润矩阵为带利润的矩阵。通常称转移概率矩阵和利润矩阵为带利润的马氏链。马氏链。马尔可夫链的转移概率决定状态转移过程中利润值马尔可夫链的转移概率决定状态转移过程中利润值的概率分布。设的概率分布。设Vi(k)表示状态表示状态i经经k步转移后的期望步转移后的期望向量向量,记记V=(V1(k), V2(k), Vn(k)T，则，则期望利润示例的期望利润示例的R程序程序P=matrix(c(0.6,0.4,0.54,0.46),ncol=2,byro
10、w=T);P #建概率阵建概率阵R=matrix(c(30,10,15,-10),ncol=2,byrow=T);R #建利润矩阵建利润矩阵v11=P1,%*%R1,;v11 # 运算符运算符%*%夹在向量间表示求内积夹在向量间表示求内积v12=P2,%*%R2,;v12V1=rbind(v11,v12);V1 # 计算出一期后的期望利润向量计算出一期后的期望利润向量V1=matrix(diag(P%*%t(R),ncol=1);V1 # 与上与上3句等效句等效V2=V1+P%*%V1;V2 # 计算出二期后的期望利润向量计算出二期后的期望利润向量V3=V1+P%*%V2;V3 # 计算出三期
11、后的期望利润向量计算出三期后的期望利润向量期望利润预测步骤期望利润预测步骤1.进行统计调查：首先查清销路的变化情况，即进行统计调查：首先查清销路的变化情况，即查清由畅销到滞销或由滞销到畅销，连续畅销或查清由畅销到滞销或由滞销到畅销，连续畅销或连续滞销的可能性是多少，计算连续滞销的可能性是多少，计算P。其次，统计出。其次，统计出由于销路的变化，获得的利润和亏损情况，计算由于销路的变化，获得的利润和亏损情况，计算R。2.建立数学模型。列出预测公式。建立数学模型。列出预测公式。3.根据预测公式和统计数据，按预测期长短进行根据预测公式和统计数据，按预测期长短进行预测。预测。市场占有率预测市场占有率预测
12、调查目前市场上各产品占有率：调查目前市场上各产品占有率：S(0) =(S1,S2,Sn)调查顾客对各相关产品购买的变动：调查顾客对各相关产品购买的变动：pij=PSi-Sj建立数学模型：建立数学模型： S(k+1)=S(k) P, 其中其中P=(pij)n n。进行预测：进行预测： S(k)= S(0) Pk。预测长期的市场占有率：根据概率矩阵性质，必有预测长期的市场占有率：根据概率矩阵性质，必有S=S P，其中，其中S=(s1,s2,sn),且且s1+s2+sn =1。即最终。即最终有稳定状态的占有率。可通过解方程组有稳定状态的占有率。可通过解方程组(* *)求得求得S。市场占有率预测示例之
13、二R程序P=matrix(c(0.6,0.2,0.2,0.1,0.7,0.2,0.1,0.1,0.8),ncol=3,byrow=T);P # 输入转移概率矩阵输入转移概率矩阵S0=c(0.3,0.4,0.3);S0 # 输入初始的市场占有率分布向量输入初始的市场占有率分布向量S1=S0%*%P;S1 # 经一期转移后的市场占有率分布向量经一期转移后的市场占有率分布向量S2=S1%*%P;S2 # 经二期转移后的市场占有率分布向量经二期转移后的市场占有率分布向量A=rbind(t(P)-diag(3),rep(1,3);A #上下拼接出上下拼接出A矩阵矩阵,diag(3)生成生成3阶单位阶单位
14、阵阵b=rbind(t(t(rep(0,3),1);b #上下拼接构造上下拼接构造b矩阵矩阵x=solve(t(A)%*%A)%*%t(A)%*%b;x # 求出求出Ax=b的解的解x=(AA)-1Abx=qr.solve(A,b);x #用用QR分解来解分解来解Ax=b,效果与前面一样效果与前面一样S=t(x);S # S为长期均衡态时的市场占有率向量为长期均衡态时的市场占有率向量市场占有率预测示例之二R程序人力资源预测人力资源预测某高校位要预测未来教师队伍的结构比例，将教师状况分某高校位要预测未来教师队伍的结构比例，将教师状况分为：助教、讲师、副高、正高、流退为：助教、讲师、副高、正高、流
15、退5类状态，且已知目类状态，且已知目前状况向量前状况向量S0=(135,240,115,60,0)，根据历史资料统计分析，根据历史资料统计分析出各状态的转移概率矩阵出各状态的转移概率矩阵P。要求分析三年后的教师结构。要求分析三年后的教师结构以及三年内为保持在编人数不变应补充的研究生数。以及三年内为保持在编人数不变应补充的研究生数。解：解：相关程序相关程序P=matrix(c(0.6,0.4,0,0,0,0,0.6,0.25,0,0.15,0,0,0.55,0.21,0.24,0,0,0,0.8,0.2,0,0,0,0,1),ncol=5,byrow=T);PS0=c(135,240,115,6
16、0,0);S0 # 当前状态当前状态sum(S0) #当前编制人数当前编制人数S1=round(S0%*%P);S1 # 转移到下一年时的状态转移到下一年时的状态S11=S11+S15;S15=0;S1 #下一年补充人员后的状态下一年补充人员后的状态S2=round(S1%*%P);S2 #转移到两年后的状态转移到两年后的状态S21=S21+S25;S25=0;S2 #两年后再完补充人员的状态两年后再完补充人员的状态S3=round(S2%*%P);S3 #转移到叁年后的状态转移到叁年后的状态S31=S31+S35;S35=0;S3 #叁年后再完补充人员的状态叁年后再完补充人员的状态项目选址决
17、策项目选址决策 某建筑公司的施工队长期分布在甲、乙、丙三地，某建筑公司的施工队长期分布在甲、乙、丙三地，大型施工设备统一调配，大型设备在三地区的转移大型施工设备统一调配，大型设备在三地区的转移概率矩阵为概率矩阵为P，应在何处建设备修理厂？，应在何处建设备修理厂？解：解：设设备在甲、乙、丙各地设设备在甲、乙、丙各地停留的概率为停留的概率为S=(s1,s2,s3),s1+s2+s3=1由由SP=S求出平衡状态时的概率向量求出平衡状态时的概率向量S: (P20,必有平衡态必有平衡态)长期看，设备停留在甲处的可能性最大，故在甲建厂合适。长期看，设备停留在甲处的可能性最大，故在甲建厂合适。相关相关R程序
18、程序# 首先建立转移概率矩阵首先建立转移概率矩阵PP=matrix(c(0.8,0.2,0,0.2,0,0.8,0.2,0.2,0.6),ncol=3,byrow=T);PA=rbind(t(P)-diag(3),rep(1,3);A #建立求解平衡状态的方程建立求解平衡状态的方程Ax=bb=rbind(t(t(rep(0,3),1);bx=qr.solve(A,b);x #用用QR分解法解线性方程组分解法解线性方程组Ax=bS=t(x);S # 转置转置Ax=b的解的解x,即为平衡状态的概率向量即为平衡状态的概率向量S关于最佳维修策略决策关于最佳维修策略决策设备状态分设备状态分5级级: 优优
19、(1),良良(2),中中(3),差差(4),坏坏(5);转移概率阵转移概率阵P;策略策略：只在状态：只在状态5时才修理，费用时才修理，费用8000元；元；策略策略：处于状态：处于状态4、5时修理，状态时修理，状态4费用费用4000元；元；策略策略：处于状态：处于状态3、4、5时修，状态时修，状态3费用费用3000元；元；解：均衡状态下解：均衡状态下 5种状态的概率：种状态的概率：策略：此时转移概率矩阵将改变为：策略 ：此时转移概率矩阵将改变为：相关相关R程序程序P=matrix(c(0,0.6,0.2,0.1,0.1,0,0.3,0.4,0.2,0.1,0,0,0.4,0.4,0.2,0,0,
20、0,0.5,0.5,1,0,0,0,0),ncol=5,byrow=T);P #建立转移概率阵建立转移概率阵PA=rbind(t(P)-diag(5),rep(1,5);A #建立求解平衡状态的方程建立求解平衡状态的方程Ax=bb=rbind(t(t(rep(0,5),1);bx=qr.solve(A,b);x S=t(x);S;M1=8000*S5;M1 # 策略策略1的费用的费用P4,=c(1,rep(0,4);P #修改修改P的第的第4行行A=rbind(t(P)-diag(5),rep(1,5);A #建立求解平衡状态的方程建立求解平衡状态的方程Ax=bx=qr.solve(A,b);
21、x S=t(x);S;M2=4000*S4+8000*S5;M2 #策略策略2的费用的费用P3,=c(1,rep(0,4);P #修改修改P的第的第3行行A=rbind(t(P)-diag(5),rep(1,5);A #建立求解平衡状态的方程建立求解平衡状态的方程Ax=bx=qr.solve(A,b);x S=t(x);S;M3=3000*S3+4000*S4+8000*S5;M3 #策略策略3最佳营销策略决策最佳营销策略决策某地主要由某地主要由A、B、C叁厂销售劳保鞋，该地区用户数约叁厂销售劳保鞋，该地区用户数约5万，万，每年厂家可从每个用户处平均获利每年厂家可从每个用户处平均获利200元。
22、元。A厂调查获得转厂调查获得转移概率矩阵移概率矩阵P，算出均衡态市场份额，算出均衡态市场份额S，感到不满意；为此，感到不满意；为此做了甲、乙两个营销方案估计转移概率矩阵将分别变为做了甲、乙两个营销方案估计转移概率矩阵将分别变为P甲甲、P乙乙，费用分别为，费用分别为C甲甲、C乙乙。那种利润增加最多？。那种利润增加最多？以利润作为衡量标准以利润作为衡量标准,选择甲方案选择甲方案(留住老客户留住老客户)更好！更好！相关相关R程序程序P=matrix(c(0.6,0.2,0.2,0.1,0.5,0.4,0.2,0.3,0.5),ncol=3,byrow=T);PC1=100;C2=150;W=5;p=
23、200 #甲、乙方案费用甲、乙方案费用C,用户数用户数W,每户获利每户获利pA=rbind(t(P)-diag(3),rep(1,3);A #建立求解平衡状态的方程建立求解平衡状态的方程Ax=bb=rbind(t(t(rep(0,3),1);bx=qr.solve(A,b);xS=t(x);S;SA=S1 #原方案下原方案下,平衡状态的平衡状态的A厂份额厂份额SAP1=matrix(c(0.8,0.1,0.1,0.1,0.5,0.4,0.2,0.3,0.5),ncol=3,byrow=T);P1A=rbind(t(P1)-diag(3),rep(1,3);A #建立求解平衡状态的方程建立求解平衡状态的方程Ax=bx=qr.solve(A,b);xS=t(x);S;M1=(S1-SA)*W*p-C1;M1 #甲方案平衡态时甲方案平衡态时A厂新增利润厂新增利润M1P2=matrix(c(0.6,0.2,0.2,0.3,0.5,0.2,0.4,0.1,0.5),ncol=3,byrow=T);P2A=rbind(t(P2)-diag(3),rep(1,3);A #建立求解平衡状态的方程建立求解平衡状态的方程Ax=bx=qr.solve(A,b);xS=t(x);S;M2=(S1-SA)*W*p-C2;M2 #乙方案平衡态时乙方案平衡态时A厂新增利润厂新增利润M2
