《S02.多变量半参数有限混合模型的可识别性研究.doc》由会员分享，可在线阅读，更多相关《S02.多变量半参数有限混合模型的可识别性研究.doc（8页珍藏版）》请在金锄头文库上搜索。
1、参赛队员： 郭屹峰 学校： 广东实验中学 省份： 广东省 指导教师： 郭卫东 论文题目： 多变量半参数有限混合模型的可识别性研究论文题目：多变量半参数有限混合模型的可识别性研究摘要：任何一个统计模型在其应用之前都要确定参数推断是否有意义。如果一个模型不能由唯一的一组参数所确定，那么这个模型是不可识别的。进而也是没有实用价值的。有限混合模型为研究现实世界中的异质性问题提供一个很好的方法。在实际应用中，参数有限混合模型被广泛地应用到生物、医学、社会学、经济、金融等领域。然而，参数有限混合模型的统计推断严重依赖于混合分布族的选择，因而导致其缺乏灵活性。故非参数有限混合模型和半参数有限混合模型成为当今
2、统计前沿的一个热点和重点。统计顶级期刊Annals of Statistics于2006年和2007年先后发表了两篇关于单变量半参数有限混合模型的高质量文章。然而，多变量半参数有限混合模型却迟迟没有结果发表。本论文重点关注多变量参数有限混合模型的可识别性问题，为此模型的参数估计和假设检验提供理论保障。1. 有限混合模型的重要性在现实的复杂世界中，存在着大量的异质性现象。例如在医学中，由于自身条件的差异，所有的病人事实上都是不完全一样的。而忽略这种异质性所得到的医学数据分析结果展示的只是所谓的“平均”病人的结果。因此在医学中，个性化医疗变得越来越重要。而对于一名统计学家来说，辨别病人之间的异质性
3、，并将这些异质性融入到统计模型中是一个重要的任务。有限混合模型为处理这种带有异质性问题提供了很好的思路。因此其在生物学、医学、社会学、经济学和金融学等众多领域有着广泛的应用。在给出有限混合模型之前，我们首先展示两个实际数据的例子。一个是R软件包中的Old Faithful 数据集。此数据集记录了美国黄石国家公园(Yellowstone National Park)里的Old Faithful间歇泉每次喷发所持续的时间以及两次喷发之间的等待时间，单位均是：分钟。由下面的直方图（见图1的左图）我们可以发现：Old Faithful间歇泉两次喷发之间的等待时间呈现双峰分布，说明等待时间数据中存在异质
4、性。故我们不能用一个单一分布来拟合，而要用混合分布拟合。同时我们还注意到每个混合分布是接近对称分布的。另一个是瑞士心理学家Jean Piaget用于评价儿童对物质世界理解力的实验数据。此实验首先发给每个儿童一张纸，纸上分别画有指向11，4，2，7，10，5，1，8点钟方向的8个带有盖子的矩形器皿（见图1的右图）。然后要求每个儿童画出每个器皿中液体的水平线，接下来度量出此条水平线与水平轴之间的夹角，用角度来表示。最后给出一个带有符号的角度值，其中符号对应的是器皿中水平线斜率的符号。与上一个数据不同的是，此数据考虑的不再是一个变量，而不是八个变量。有限混合模型通过引进一个离散的潜在结构来描述数据中
5、的异质性。假设一组随机样本X1,Xn来自下面的混合分布密度函数：fx=j=1mjfj(x) （1）其中，m表示混合元的个数，可以是已知的也可以是未知的。例如在Old Faithful间歇泉两次喷发的等待时间可以认为m=2；而对于第二个数据混合元个数m很难确定，尽管有文献采用m=2或者m=3. 混合比例j表示第j个混合元的比例，满足对所有的j，j0并且j=1mj=1. fj表示第j个混合元的密度函数。图1：左图为Old Faithful间歇泉两次喷发之间等待时间的直方图；右图为Jean Piaget心理实验8个不同指向的矩形器皿的示意图。在有限混合分布(1)中，如果混合元fjxf(x;j)为某一
6、参数分布族，则这类有限混合模型称为参数有限混合模型。例如，若fx;j=f(x;(j,j2)为正态分布N(j,j2)的密度函数，则有限混合模型(1)为常见的高斯混合模型。此类模型的统计推断问题只涉及到欧氏空间上的参数推断，即关于=,=(1,m,1,m)的推断问题。在过去若干年中，研究者提出了关于参数的各种估计方法。这些方法主要有以下几个类型：1）矩估计方法（见Lindsay和Basak，1993）；2）极大似然估计方法（见Lindsay, 1983a,b）；3）Bayes方法（见Diebolt和Robert，1994；Escobar和West，1995）；4）最小距离方法（见Titteringt
7、on等人，1985）以及其他方法。尽管参数有限混合模型因其相对比较简单而得到广泛的应用，但是由于实际应用中对子总体通常知之甚少，故参数有限混合模型中混合元的选择是非常困难的。因为参数有限混合模型的参数推断非常依赖于分布族的假设，故当分布族选择错误时，参数推断的结果是毫无意义的。因此参数有限混合模型是缺乏灵活性的。针对参数有限混合模型的缺陷，另一种思路是不假设混合元服从某个参数族而假设其是完全未知的光滑函数。这种有限混合模型称为非参数有限混合模型。值得注意的是，如果没有额外的假设或者信息，非参数有限混合模型通常是不可识别的。所谓可识别性，是指由模型（1）能够唯一的确定所有的j和fj。对于下面的非
8、参数有限混合模型：fx=j=1mjl=1kfjl(xl) （2）其中，X=X1,Xk为k变量的随机向量。fjl为第j个混合元的第l个边缘密度函数，j=1,m，l=1,k。 Hettmansperger和Thomas（2000）以及Cruz_Medina和Hettmansperger（2004）给出了非参数有限混合模型（2）中混合比例=(1,m)的估计方法。对于多变量非参数有限混合模型（2），模型的可识别性问题是一个重要的理论问题。Hall和Zhou（2003）证明了在m=2的情况下，只有当k3同时满足一些正则条件下，非参数有限混合模型（2）才是可识别的，进而才是可以被估计的；而当k2时，模型是
9、不可识别的。Hall等人（2005）以及Kasahara和Shimotsu（2008）试图给出混合元个数m2的一般性结果，却发现一般性结果是相当难以找到的。后来，Allman等人（2009）利用Kruskal（1977）的一个定理给出了对于任何变量个数k3，不论混合元个数m为多少，非参数有限混合模型（2）的可识别性条件：只要边缘密度函数f1l,fml在除一个Lebesgue测度为0的集合外是线性独立的。由上面的结果可以看出，对于非参数有限混合模型（2），至少需要变量个数k3模型才可识别。而现实问题中很多涉及到k=1或者k=2，例如我们前面的Old Faithful间歇泉的喷发等待时间就是一个k
10、=1的问题。为了使得单变量情况下能够刻画数据中的异质性，建立的模型需要对混合元的分布加一些适当的条件。Bordes等人（2006）和Hunter等人（2007）独立的研究了下面的单变量位置变化的半参数有限混合模型：Gx=Fx-1+1-Fx-2, xR （3）其中，(0,1)为混合比例，1,2为两个位置参数，F()为一个未知的关于零对称的分布函数。因为模型（3）不仅涉及到未知参数(,1,2)，而且还有未知的分布函数F，因此其是一个半参数模型。在F关于零对称的假设下，Bordes等人（2006）和Hunter等人（2007）采用不同的方法证明了模型（3）的可识别性。注意到，半参数有限混合模型（3）
11、只能够处理单变量的数据。而对于变量个数k2 的情况，尽管可以转化为模型（3）一维一维来处理，但是这样做忽略了多变量之间的关联信息，势必会影响到参数估计的效率。因此本文将研究下面多变量位置变化的半参数有限混合模型：Gx=Fx-1+1-Fx-2, xRk （4）其中，(0,1)为混合比例，1,2为两个k维的位置参数，F()为一个未知的关于原点对称的多元分布函数。2. 可识别性在给出未知参数的估计之前，我们必须讨论模型（4）的可识别性问题。否则参数估计是无意义的。首先注意到：若模型（4）是可识别的，则对于(,1)与(1-,2)的置换，模型（4）所对应的混合分布G(x)应该是不变的。这个特殊的可识别性
12、问题经常称为“标签转换(label switching)”问题。在模型（4）中，此问题可以通过限制(0,1/2)容易得到解决。下面为了表达方便，我们首先约定一些符号。记表示关于原点对称的所有分布函数的集合。对于两个k维向量=（1,k）和=(1,k)，=意味着对于所有的1ik，均有i=i；而则意味着至少存在一个1ik，使得ii。记为R2k空间上所有满足=的向量所构成的集合。记=,1,2:0,12, 1,2R2k。则半参数有限混合模型（4）的参数空间为。对于模型（4），若存在另外一组参数,1,2,F也满足它，即对任意的tRk，有Fx-1+1-Fx-2=Fx-1+1-Fx-2 （5）成立。那么如果模
13、型（4）是可识别的，则必须有：=, 1=1, 2=2, F=F。下面我们给出模型（4）可识别的主要结果：定理2.1. 若存在上的两组参数向量,1,2,F和(,1,2,F)满足方程（4），则有,1,2,F=(,1,2,F)。证明：记随机向量XG(x)。则由特征函数定义有：Xt=EeitX=RkeitxdGx=RkeitxdFx-1+1-RkeitxdFx-2=eit1RkeitxdFx+1-eit2RkeitxdFx=eit1+1-eit2Zt=cost1+1-cost2+isint1+1-sint2Zt=A+iBZ(t)其中：Zt=RkeitxdF(x)表示关于原点对称的随机向量ZF()的特征
14、函数。A=cost1+(1-)cos(t2)，B=sint1+(1-)sin(t2)。由（5）式和特征函数的定义有：A+iBZt=A+iBZt （6） 其中：A=cost1+(1-)cos(t2)，B=sint1+(1-)sin(t2)。ZF。（6）式两边同时乘以A+iB的共轭，得A+iBA-iBZt=A2+B2Zt。 （7）因为Z和Z均是关于原点对称的随机向量，则相应的特征函数Zt和Z(t)均为实值函数。因此对于所有使得Zt0的t，均有A+iBA-iB也是一个实值函数。由于在t=0的一个领域内有Zt是不为0的，进而，A+iBA-iB的虚部在t=0的一个领域内是等于0的，即：sint1-1+1-sint1-2+1-sint2-1+1-1-sint2-2=0 (8)由正弦函数的解析性知其在整个Rk上也是恒等于0的。假设Y是关于对称的随机向量，则Y
