1 高斯分布随机变量及其性质 ¾ 中心极限定理 ¾ 高斯分布的随机变量 ¾ N 维高斯随机变量的统计独立特性 ¾ 高斯随机变量的线性变换 ¾ 高斯分布的随机变量的条件分布和边缘分布 1．引言．中心极限定理 给定 n 个独立的随机变量 ,1,2,ixi= " n，它们的和为：12 nx xx x= +++ " ， x 的均值为12 nη ηη η=+++ " ，方差为222 212 nσ σσ σ=+++ " ，在一定的条件下，当 n 趋于无穷时， x 的概率密度函数 f(x)趋向于具有相同均值和方差的高斯 (正态 )分布： 22()21()2xfx eησσπ−−≈ 中心极限定理逼近的性质以及对一个给定误差所需的随机变量的数目 n 依赖于概率密度函数 ()if x 2高斯分布的随机变量 典型高斯分布的随机变量的概率密度与特征函数的描述 ()f xξ， { }() ()ju juxuEe efxdxξξξ∞−∞Φ= =∫2.1一元高斯随机变量 一元高斯随机变量Ｎ (0,1)，均值为零、方差为 1，其概率密度和特征函数： 2221)(xexf−=πξ22)(ueu−=Φξ2 一元高斯随机变量 N(μ ,σ2)，均值为μ、方差为σ2，其概率密度和特征函数： 222)(221)(σμξπσ−−=xexf 222)(uujeuσμξ−=Φ 2.2二元高斯随机变量 二元高斯随机变量21,ξξ ，均值为零、协方差矩阵为： ⎟⎟⎠⎞⎜⎜⎝⎛=11rrB ，121111rBrr−−⎛⎞=⎜⎟−−⎝⎠，21B r= − 其二元概率密度和特征函数为： ⎟⎟⎠⎞⎜⎜⎝⎛+−−−−= ]2[)1(21exp121),(222121222121xxrxxrrxxfπξξ⎟⎠⎞⎜⎝⎛++−=Φ ]2[21exp),(2221212121uuuruuuξξ二元高斯随机变量21,ξξ ，其均值、协方差矩阵为， μμμξξ=⎟⎟⎠⎞⎜⎜⎝⎛=⎟⎟⎠⎞⎜⎜⎝⎛2121E , ⎟⎟⎠⎞⎜⎜⎝⎛=22212121σσσσσσrrB ， ( )22 2121B rσσ=− ()()2212122 2 212 12 121122 212 211111 1rBr rrr rσ σσσσ σσ σσσσσσ σ−⎛⎞−=⎜⎟− −⎝⎠⎛⎞−=⎜⎟− −⎝⎠其二元概率密度和特征函数为 122122211 11 2 2 2 221(, )211exp 22(1 )fxyrxxxxrrξξπσ σμμμμσσσσ=×−⎛⎞⎡⎤⎛⎞⎛⎞⎛⎞⎛⎞−−−−⎜⎟⎢⎥−− +⎜⎟⎜⎟⎜⎟⎜⎟−⎝⎠⎝⎠⎝⎠⎝⎠⎣⎦3 ()⎟⎠⎞⎜⎝⎛++−+=Φ ]2[21exp),(222221212121221121uuuruuujuu σσσσμμηξ2.3 n元高斯随机变量 n 元高斯随机变量 ξ ，其均值、协方差矩阵（正定的）为， ⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛=⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛=nnnnnnnbbbbbbbbbB " # # # " " #21222121121121,μμμμ 其 n 元概率密度和特征函数为 ()[]()()⎟⎠⎞⎜⎝⎛−−−=−μxμxx12/121exp21)( BBfTnπξ⎟⎠⎞⎜⎝⎛−=Φ uuuμTTBjU21exp)(ξ其中， ()Tnxxx "21=x ， ( )Tnuuu "21=u 考虑到矩阵是 B 正定对称的，则存在一个非奇异矩阵 L，使得 B=LLT，作线性变换 L， )(1XL μxy −=−，XL μyx += ， 111111)()()(−−−−−−=⋅== LLLLLLBtttyyμxμxμxμxμxμxTXTXXtTXXTXLLLLB=−−=−⋅−=−−−−−−−)]([)]([)()()()()(11111对应这个变换的雅可比行列式是2/1BL ==∂∂yx()[]()[]⎟⎠⎞⎜⎝⎛−=⋅⎟⎠⎞⎜⎝⎛−−−=−yyμxμxTnXTXnBBBYf21exp21)()(21exp21)(2/12/112/1ππη4 ()[]⎟⎠⎞⎜⎝⎛−=∑=Nnnny122/121exp21π显然有 1)()()(21===∫∫∫∫∫∫∞∞−∞∞−∞∞−∞∞−∞∞−∞∞−NdydydyYfdYYfdXXf " " " "ηηξ2.4 n元高斯随机变量的特征函数的计算 考虑以下的矩阵运算 XTTXTTXTTjjSjLjLjjμuyμuyuμyuxu+=+=+= )(其中： uuTTTLSLS == , 2/2/)()(2/2/)()(211SSjSjSjjSjjBjTTXTTTXTTXTXT−−−−=−+=−=−−−−yyμuyyyμuyyxuμxμxxuTN 元高斯随机变量的特征函数是 : {}()()()()()()()11/211/21/2( ) exp( ) exp( ) ( )11exp( ) exp2211exp221exp[ / 2]2exp[ ( ) (TTTTnTTnTTXnTEj jfdj BdBjBdBjSSjS jξξπππ∞∞−∞ −∞∞∞−−∞ −∞∞∞−−∞ −∞∞∞−∞ −∞Φ= =⎛⎞=−⎜⎟⎝⎠⎡⎤⎣⎦⎛⎞⎜⎟⎝⎠⎡⎤⎣⎦=−⎡⎤⎣⎦−− −∫∫∫∫∫∫∫∫uux uxxux x μ x μ xux x μ x μ xu μyy " " " ")/2]exp[ / 2]exp[ / 2]exp[ / 2]TTXTTTXTTXSdjSSjLLjB=−=−yu μu μ uuu μ uu5 ⎟⎠⎞⎜⎝⎛−=Φ uuμuu BjTXT21exp)(ξ当协方差矩阵是非负定的，可以证明若它的秩为 r 3 N维高斯随机变量的统计独立特性 3.1定理1 N 维随机变量ξ1，ξ2， ，ξN，相互统计独立的充要条件是它们两两互不相关 证明， 首先证明 必要性 z 若 N 维随机变量ξ1，ξ2， ，ξN，相互统计独立，则它们 N 个高斯分布随机变量的概率密度函数，等于它们各自概率密度函数的乘积 z N 维随机变量ξ1，ξ2， ，ξN，它们的特征函数等于各自特征函数的乘积对比高斯分布特征函数的表达式，它们的协方差矩阵是对角矩阵 z N 维随机变量ξ1，ξ2， ，ξN，它们的协方差矩阵是对角矩阵，它们的互相关为零，它们是统计独立的 其次证明 充分性 z 若 N 维随机变量ξ1，ξ2， ，ξN，是两两不相关，它们的协方差矩阵是对角矩阵 z 若 N 维随机变量ξ1，ξ2， ，ξN，协方差矩阵是对角矩阵，它们的特征函数等于各自特征函数的乘积，它们是相互统计独立 3.2定理2 若ξ是高斯分布的随机矢量， ξ 1， ξ 2 是两个子矢量， ξ ＝（ ξ 1 ξ 2）T它们的协方差矩阵是⎟⎟⎠⎞⎜⎜⎝⎛=22211211BBBBB ，其中 B11 和 B22 分别是 ξ 1， ξ 2 的协方差矩阵， B12和 B21分别是 ξ 1， ξ 2的互协方差矩阵。 B12＝ (B21)H， ξ 1， ξ 2相互统计独立的充要条件是 B12＝ 0 证明： 6 首先证明 必要性 若 ξ1， ξ2相互统计独立，它们之间的任意两个分量都统计独立，它们之间的任意两个分量的协方差都是零，相应的协方差矩阵 B12＝ 0， B21＝ 0 其次证明 充分性 若 B12＝ 0， B21＝ 0，相应ξ的相关矩阵⎟⎟⎠⎞⎜⎜⎝⎛=2211B00BB 令T)u(uu21= ，与相应分量的维数与 ξ＝（ξ 1 ξ 2）T一致，它们的特征函数， ()()( )() exp 2exp [ ]/ 2exp [ ]/ 2 exp [ ]/ 2() ()jjjΦ= −=+−+=− ⋅−=Φ ⋅Φ12TTξTTT T11 22 111 222TT T T11 111 22 222ξ 1 ξ 2uuμ uBuu μ u μ uBu uBuu μ uBu uμ uBuuu等于两个子矢量的特征函数的乘积，因此这两个子矢量是相互独立的 4 高斯随机变量的线性变换 4.1 高斯随机变量的线性组合 设ξ＝（ξ 1，ξ 2， ，ξ N）是 N 维随机矢量，其数学期望是μ＝（μ 1，μ 2， ，μ N） ，协方差矩阵是 B。 高斯随机变量ξ各个分量 线性组合 ξaTNnnna ==∑=1ξη ， aT＝（ a1， a2， ， aN） 高斯随机变量线性组合的均值 ， {} []μaTNnnnNnnnNnnnaEaaEE===⎭⎬⎫⎩⎨⎧=∑∑∑===111μξξη高斯随机矢量线性组合的协方差 ， 7 {}111111()( )()()NNnn n mm mnmNNnm m m n nnmNNnmnmnmTBE a aaaEaabηξμ ξμξμ ξμ======⎧⎫=−⋅−⎨⎬⎩⎭=−⋅−==∑∑∑∑∑∑aBa4.2 高斯随机变量的线性变换 设 ξ ＝（ξ 1，ξ 2， ，ξ N）是 N 维随机矢量，其数学期望是 μ ＝（μ 1，μ 2， ，μ N） ，协方差矩阵是 B 线性变换 C，是 M*N 的矩阵， ξ 经过线性变换 C 得到 η ＝ Cξ ， 均值 ： { } { }EE Eξ===η Cξ C ξ Cμ ， 协方差矩阵 ： {}{ }{}{}(()()()()()()()()TTTTTTTDEEE EEE EEEξξξξ−= − −=− −=−−=−−=ηη ηηηηCξ Cξ Cξ CξC ξμ ξμ CC ξμ ξμ CCBC4.3定理1 设 ξ ＝（ξ 1，ξ 2， ，ξ N）是 N 维随机矢量，其数学期望是， μ ＝（μ 1，μ 2， ，μ N） ，协方差矩阵是 B。 ξ服从 N 元高斯分布的充要条件是它的任意一个线性组合ξaTNnnna ==∑=1ξς 服从一元高斯分布 证明： 首先证明必要性 如果 ξ 的任意一个线性组合 ξaTNnnna ==∑=1ξς 服从一元高斯分布 8 考虑到ζ的均值是ξμaμT=ς，ζ的方差是 aBaBξT=ς，则 ξ 的特征函数是， (){ }(){}()1001200expexpexp expexp / 2exp / 2TNnnnNTnnnTTTTEjEjuEjuu Ejuju ujξξ==⋅⎧⎫⎛⎞=⎨⎬⎜⎟⎝⎠⎩⎭⎧⎫⎛⎞′′==⎨⎬⎜⎟⎝⎠⎩⎭′′′=⋅−=⋅−∑∑ξξξξu ξu ξu μ uBuu μ uBu上述推导的第一步，是按照矢量点积的表达式写出的， 上述推导的第二步，是将 uu ′=0u 代入表达式的， 上述推导的第三步，是鉴于ζ的任意一个线性组合服从一元高斯分布，因而写出相应的特征函数表达式， 上述推导的第四步，是再次将 uu ′=0u 代入表达式的， 推导的结果说明 ξ 的特征函数具有高斯矢量的形式，必要性得到证明 其次证明充分性 如果 ξ 是 N 维高斯随机矢量，它的任意一个线性组合 ξaTNnnna ==∑=1ξς 的特征函数是， (){}(){}11exp expexp ( )expexp / 2NnnnNnnnTTTEjuE juaEjuaEjuju u uςξξμ==⎧ ⎫⎛⎞=⎨ ⎬⎜⎟⎝⎠⎩⎭⎧⎫⎛⎞=⎨⎬⎜⎟⎝⎠⎩⎭=⋅=−∑∑ξξa ξaaBa( )()2/)()(exp2/)()(exp22ςς DujuEujuTT−=−= aBaμaξξ上述推导的第四步，是按照高斯随机矢量的特征函数表达式写出的， 推导的结果说明ζ的特征函数具有高斯变量的形式，充分性性得到证明。 9 4.4定理2 设 ξ ＝（ξ 1，ξ 2， ，ξ N）是 N 维随机矢量，其数学期望是， μ ＝（μ 1，μ 2， 。
3 N维高斯随机变量的统计独立特性 3.1定理1 N 维随机变量ξ1，ξ2， ，ξN，相互统计独立的充要条件是它们两两互不相关 证明， 首先证明 必要性 z 若 N 维随机变量ξ1，ξ2， ，ξN，相互统计独立，则它们 N 个高斯分布随机变量的概率密度函数，等于它们各自概率密度函数的乘积 z N 维随机变量ξ1，ξ2， ，ξN，它们的特征函数等于各自特征函数的乘积对比高斯分布特征函数的表达式，它们的协方差矩阵是对角矩阵 z N 维随机变量ξ1，ξ2， ，ξN，它们的协方差矩阵是对角矩阵，它们的互相关为零，它们是统计独立的 其次证明 充分性 z 若 N 维随机变量ξ1，ξ2， ，ξN，是两两不相关，它们的协方差矩阵是对角矩阵 z 若 N 维随机变量ξ1，ξ2， ，ξN，协方差矩阵是对角矩阵，它们的特征函数等于各自特征函数的乘积，它们是相互统计独立 3.2定理2 若ξ是高斯分布的随机矢量， ξ 1， ξ 2 是两个子矢量， ξ ＝（ ξ 1 ξ 2）T它们的协方差矩阵是⎟⎟⎠⎞⎜⎜⎝⎛=22211211BBBBB ，其中 B11 和 B22 分别是 ξ 1， ξ 2 的协方差矩阵， B12和 B21分别是 ξ 1， ξ 2的互协方差矩阵。
B12＝ (B21)H， ξ 1， ξ 2相互统计独立的充要条件是 B12＝ 0 证明： 6 首先证明 必要性 若 ξ1， ξ2相互统计独立，它们之间的任意两个分量都统计独立，它们之间的任意两个分量的协方差都是零，相应的协方差矩阵 B12＝ 0， B21＝ 0 其次证明 充分性 若 B12＝ 0， B21＝ 0，相应ξ的相关矩阵⎟⎟⎠⎞⎜⎜⎝⎛=2211B00BB 令T)u(uu21= ，与相应分量的维数与 ξ＝（ξ 1 ξ 2）T一致，它们的特征函数， ()()( )() exp 2exp [ ]/ 2exp [ ]/ 2 exp [ ]/ 2() ()jjjΦ= −=+−+=− ⋅−=Φ ⋅Φ12TTξTTT T11 22 111 222TT T T11 111 22 222ξ 1 ξ 2uuμ uBuu μ u μ uBu uBuu μ uBu uμ uBuuu等于两个子矢量的特征函数的乘积，因此这两个子矢量是相互独立的 4 高斯随机变量的线性变换 4.1 高斯随机变量的线性组合 设ξ＝（ξ 1，ξ 2， ，ξ N）是 N 维随机矢量，其数学期望是μ＝（μ 1，μ 2， ，μ N） ，协方差矩阵是 B。
高斯随机变量ξ各个分量 线性组合 ξaTNnnna ==∑=1ξη ， aT＝（ a1， a2， ， aN） 高斯随机变量线性组合的均值 ， {} []μaTNnnnNnnnNnnnaEaaEE===⎭⎬⎫⎩⎨⎧=∑∑∑===111μξξη高斯随机矢量线性组合的协方差 ， 7 {}111111()( )()()NNnn n mm mnmNNnm m m n nnmNNnmnmnmTBE a aaaEaabηξμ ξμξμ ξμ======⎧⎫=−⋅−⎨⎬⎩⎭=−⋅−==∑∑∑∑∑∑aBa4.2 高斯随机变量的线性变换 设 ξ ＝（ξ 1，ξ 2， ，ξ N）是 N 维随机矢量，其数学期望是 μ ＝（μ 1，μ 2， ，μ N） ，协方差矩阵是 B 线性变换 C，是 M*N 的矩阵， ξ 经过线性变换 C 得到 η ＝ Cξ ， 均值 ： { } { }EE Eξ===η Cξ C ξ Cμ ， 协方差矩阵 ： {}{ }{}{}(()()()()()()()()TTTTTTTDEEE EEE EEEξξξξ−= − −=− −=−−=−−=ηη ηηηηCξ Cξ Cξ CξC ξμ ξμ CC ξμ ξμ CCBC4.3定理1 设 ξ ＝（ξ 1，ξ 2， ，ξ N）是 N 维随机矢量，其数学期望是， μ ＝（μ 1，μ 2， ，μ N） ，协方差矩阵是 B。
ξ服从 N 元高斯分布的充要条件是它的任意一个线性组合ξaTNnnna ==∑=1ξς 服从一元高斯分布 证明： 首先证明必要性 如果 ξ 的任意一个线性组合 ξaTNnnna ==∑=1ξς 服从一元高斯分布 8 考虑到ζ的均值是ξμaμT=ς，ζ的方差是 aBaBξT=ς，则 ξ 的特征函数是， (){ }(){}()1001200expexpexp expexp / 2exp / 2TNnnnNTnnnTTTTEjEjuEjuu Ejuju ujξξ==⋅⎧⎫⎛⎞=⎨⎬⎜⎟⎝⎠⎩⎭⎧⎫⎛⎞′′==⎨⎬⎜⎟⎝⎠⎩⎭′′′=⋅−=⋅−∑∑ξξξξu ξu ξu μ uBuu μ uBu上述推导的第一步，是按照矢量点积的表达式写出的， 上述推导的第二步，是将 uu ′=0u 代入表达式的， 上述推导的第三步，是鉴于ζ的任意一个线性组合服从一元高斯分布，因而写出相应的特征函数表达式， 上述推导的第四步，是再次将 uu ′=0u 代入表达式的， 推导的结果说明 ξ 的特征函数具有高斯矢量的形式，必要性得到证明 其次证明充分性 如果 ξ 是 N 维高斯随机矢量，它的任意一个线性组合 ξaTNnnna ==∑=1ξς 的特征函数是， (){}(){}11exp expexp ( )expexp / 2NnnnNnnnTTTEjuE juaEjuaEjuju u uςξξμ==⎧ ⎫⎛⎞=⎨ ⎬⎜⎟⎝⎠⎩⎭⎧⎫⎛⎞=⎨⎬⎜⎟⎝⎠⎩⎭=⋅=−∑∑ξξa ξaaBa( )()2/)()(exp2/)()(exp22ςς DujuEujuTT−=−= aBaμaξξ上述推导的第四步，是按照高斯随机矢量的特征函数表达式写出的， 推导的结果说明ζ的特征函数具有高斯变量的形式，充分性性得到证明。
9 4.4定理2 设 ξ ＝（ξ 1，ξ 2， ，ξ N）是 N 维随机矢量，其数学期望是， μ ＝（μ 1，μ 2， 。
