例：一维随机游动一个质点在直线上的五个位置:0,1,2,3,4之上随机 游动.当它处在位置1或2或3时,以1/3的概率向左移动一步而以2/3的概率向右移动一步;当它到达位置0时,以概率1返回位置1;当它到达位置4时以概率1停留在该位置上(称位置0为反射壁,称位置4为吸收壁).称为状态转移示意图： 第二节：参数离散的齐次马尔可夫链一、转移概率矩阵由于状态空间S 是离散的(有限集或可列集),不妨设其状态空间S={0,1,2, ····,n, ····}设{Xt, t=t0,t1,t2, ····tn····,}是齐次马尔可夫链, 则对内的任意两个状态 i和j ,由转移概率pij排序一个矩阵称为(一步)转移概率矩阵 转移概率矩阵的性质： (1) ,即元素均非负;(2) ,即每行和为1.称为随机矩阵. 例1 Bernoulli序列的状态空间 S={0,1},转移概率矩阵同理 或者： 例2：一维随机游动一个质点在直线上的五个位置:0,1,2,3,4之上随机 游动.当它处在位置1或2或3时,以1/3的概率向左移动一步而以2/3的概率向右移动一步;当它到达位置0时,以概率1返回位置1;当它到达位置4时以概率1停留在该位置上(称位置0为反射壁,称位置4为吸收壁).称为状态转移示意图： 由图可知 其中，故， 例3（成功流）设在一串贝努里试验中,每次试验成功的概率为p,令 则 {Xn, n=1,2, 3····,}是齐次马尔可夫链.求转移矩阵。
其状态空间S={0,1,2, ····,k, ····}第n次试验接连第k次成功，即：第n次试验成功且为连续的第k次成功 j≥i+2或0