《变量选择的Bayes方法课件》由会员分享，可在线阅读，更多相关《变量选择的Bayes方法课件（17页珍藏版）》请在金锄头文库上搜索。
1、变量选择的Bayes方法,内容提要,变量选择问题 随机搜索变量选择(SSVS) 我们的方法：Bayes框架 算法 实验结果,问题：线性模型的变量选择,响应变量的观测值：y2Rn p个解释变量的观测值：X1,L,Xp2Rn 正态线性模型： y = Xb + e, e Nn(0, I /r) 变量选择：求 S1,2,L,p使得 y = i2 S biXi + e,George p(r)= G(n/2, nl/2) 后验p(q|y) / L(q|y) p(k) p(i(k)|k) p(r) p(b|k,i(k), q =(k,i(k), b , r),后验分布的抽样算法：主算法,每次迭代包含两个步骤
2、： BDMCMC: 给定r时更新(k,i(k), b) Gibbs抽样(10次)：给定k时更新(i(k), b , r),BDMCMC步骤,W=kWk, Wk是空间D=1,2,L,pR的全体k元点集；(k,i(k), b ) 对应于Wk中的点 BD移动x!y：x=x0, y=xT , xt2 W，0 t T ，是生死过程 过程xt的参数：出生强度a(x)=1,出生分布b(|x), 死亡强度d(i, b)|x), (i, b)2x2W, d(x)=(i, b) d(i, b)|x) 平衡方程)由a(x), b(|x)解出d(i, b)|x),生死过程的算法实现,过程在当前时刻t的状态xt= x，
3、下次跳跃时刻为 t + Dt ，Dt E(a(x)+d(x) 当t + Dt T 时终止算法，t + Dt T 时： 决定类型：出生概率a(x)/(a(x)+d(x)， (i, b)死亡概率d(i, b)|x)/(a(x)+d(x) 出生的点(i, b)来自出生分布b(|x),给定k时更新(i(k), b , r),初始值(i(k), b )视为Wk中的点x x的更新：对每个(i, b)2x，从条件分布p(i, b | y, k, xn(i, b), r)抽取新的(i , b ) r的更新：从条件分布p(r | y, k, x)抽取新的 r 与SSVS的比较：效果更好；对超参数不是很敏感,实验
4、,超参数：pr=1/2, t0=1, n=0, l=0 算法中的参数：T=100, 迭代1100次，去掉前100次的结果 初始值：i(k) 为全模型，(b, 1/r)全模型下的极大似然估计。,实验一,s=2.5, b=(0,0, 0, 1, 1.2) 问题1： X1, X2, X3, X4, X5 iid N60(0,I), 问题2： X3 = X5 +0.15Z, Z N60(0,I), X1, X2, X4, X5 iid N60(0,I),实验一的结果,实验二,s=2.0; b1,L, b15=0; b16,L, b30=1; b31,L, b45=2; b46,L, b60=3 Z1,L, Z60, Z iid N120(0,I), Xi = Zi +Z,实验二的结果,实验三,s=2.5; b=(1.5, 0, 1.5, 0, 1.5, 0, 1.5, -1.5, 0, 0, 1.5, 1.5, 1.5, 0, 0) Z1,L, Z15, Z iid N90(0,I), X2=X1+0.15Z2, X4=X3+0.15Z4, X6=X5+0.15Z6, X7=X8+X9-X10+0.15Z7 X11=X14+X15-X12-X13+0.15Z11 其它Xi = Zi +2Z,实验三的结果,
