《模式识别patternrecognition》由会员分享，可在线阅读，更多相关《模式识别patternrecognition（21页珍藏版）》请在金锄头文库上搜索。
1、模式识别 Pattern Recognition,武汉大学电子信息学院,IPL,线性代数与概率统计基础,补充 材料,线性代数与概率统计基础,2,行列式与线性方程组 矩阵 向量 矩阵的特征值与特征向量 二次型 多元随机变量的统计特征 多元随机变量协方差矩阵的性质 二次型化为标准形 梯度（下降）法,补充 材料,线性代数与概率统计基础,3,行列式与线性方程组,行列式：,行列式的计算： 化为三角行列式计算： 按行（列）展开计算：,补充 材料,线性代数与概率统计基础,4,解线性方程组的克莱姆法则,对于线性方程组：,如果行列式 D=|aii|0，则方程组存在唯一解,齐次线性方程组(即b=0)，有非零解的充
2、要条件是D=|aii|=0,补充 材料,线性代数与概率统计基础,5,矩阵,Matrix: 由m*n个数aij排列成的m行n列的数表：Am*n=aijm*n 方阵：m=n 对角阵：=diag(a11,a22,ann) 单位阵：E= diag(1,1,1) 上三角阵与上三角阵,补充 材料,线性代数与概率统计基础,6,矩阵的运算,矩阵的乘法：C=AB noc(A) = nor(B) noc(C) = noc(B) nor(C) = nor(A),矩阵的转置：A=(aij), A=AT=(aji) 对称方阵：A=A， 即 aij= aji 方阵的行列式： 如果|A|0，A称为非奇异阵，否则为奇异阵 |
3、A|= |A|， |AB|= |A|B| 逆矩阵：如果AB=BA=E, 则称A可逆，B为A的逆 方阵A可逆可逆的充要条件： |A|0,补充 材料,线性代数与概率统计基础,7,分块矩阵及其运算,分块矩阵：用横线和竖线把矩阵分成若干小块，每个小块为一个矩阵，它可以作为一个元素参加运算。 分块对角阵： |A|=|A11|A11|A11|,补充 材料,线性代数与概率统计基础,8,向量,n维向量：x=(x1,x2,xn)T 线性相关与线性无关： 设有n维向量组： x1, x2, xm，如果只有当k1= k2=km=0时，才能使下式成立，则称该向量组线性无关。否则为线性相关。,m个n维向量的矩阵表示：A=
4、(a1, a2, am) n个n维向量：ai=(ai1,ai2,ain)T线性无关的充要条件是|A|0,补充 材料,线性代数与概率统计基础,9,向量(二),如果向量组A = (a1, a2, am) = (b1, b2, bm)C = BC，称A可由向量组B线性表示。 rank(A)=nov(A的最大线性无关组) 向量的内积:,向量的模（范数/长度）： 两点的距离： 两向量的夹角：,补充 材料,线性代数与概率统计基础,10,向量(三),两向量正交：(x,y)=0, cos()=0 若非零的n维向量x1, x2, xm两两正交，则称为正交向量组。 正交向量组线性无关。 若n维向量y可由正交向量组
5、x1, x2, xm线性表示，则：,补充 材料,线性代数与概率统计基础,11,矩阵的特征值与特征向量,方阵A的特征值与特征向量: A= 方阵A的特征多项式：|A-E| 方阵A的特征方程： |A-E|=0 特征方程的解为特征值，方程 (A-E)x=0的非零解向量就是方阵A的属于特征值的特征向量。 如果存在可逆方阵P，使P-1AP=B，则称A与B相似，记作AB。 相似关系具有反身、对称、传递性。 相似矩阵有相同的行列式，即|A|=|B| 相似矩阵有相同的特征多项式及特征值,补充 材料,线性代数与概率统计基础,12,相似矩阵,n阶方阵A与对角矩阵相似的充要条件是A有n个线性无关的特征向量。 如果A，
6、即有 P-1AP= =diag(d1,d2,dn)，则d1, d2, , dn是A的n个特征值。 实对称矩阵： 特征值为实数 两个相异的特征值对应的特征向量正交 n阶实对称方阵A有n个线性无关的特征向量 n阶实对称方阵A与对角矩阵相似,补充 材料,线性代数与概率统计基础,13,正交矩阵,正交矩阵A，有AA=E，即A-1=A 正交矩阵A与B的乘积AB仍为正交矩阵 正交矩阵A的行列式|A|=1 正交矩阵A的行(列)向量组为正交单位向量组，即：,若A为实对称矩阵，则必存在正交矩阵P，使P-1AP=， 是以A的特征值为对角元素的对角矩阵。,补充 材料,线性代数与概率统计基础,14,二次型,二次齐次函数
7、：,记x=(x1, x2, xn)T，A=(aij)n*n ，则有：,二次型f与对称矩阵A存在一一对应：A为二次型f的矩阵， f为矩阵A的二次型。,补充 材料,线性代数与概率统计基础,15,标准二次型,A=时为标准二次型(只含平方项) 对于任何二次型：,总可找到正交变换将f化为标准形,补充 材料,线性代数与概率统计基础,16,正定二次型和正定矩阵,二次型f(x1, x2, , xn)，如果对于任何 x12 + x22 + xn2 0，都有f 0，则称f为正定二次型。其矩阵A为正定矩阵(A0)。 n阶方阵A正定的充要条件是：A的n个特征值全为正的。 n阶方阵A，若存在可逆矩阵B，使A=BB，则A
8、为正定矩阵。,补充 材料,线性代数与概率统计基础,17,多元随机变量的统计特征,n维随机变量：x=x1,x2,xnT n维随机变量的（总体）均值： n维随机变量的（样本）均值： n维随机变量的（总体）相关函数矩阵：n维随机变量的（样本）相关函数矩阵： n维随机变量的（总体）协方差矩阵：n维随机变量的（样本）协方差矩阵：,补充 材料,线性代数与概率统计基础,18,n维随机变量协方差矩阵的性质,n维随机变量协方差矩阵C是实对称矩阵 协方差矩阵C的特征值为实数 C有n个线性无关的特征向量 存在正交矩阵U，使U-1CU= UTCU=， 是以C的特征值为对角元素的对角矩阵，U=u1,u2,un，C ui=i ui 任何二次型总可找到正交变换化为标准形，即：,补充 材料,线性代数与概率统计基础,19,二次型化为标准形,补充 材料,线性代数与概率统计基础,20,梯度（下降）法,补充 材料,线性代数与概率统计基础,21,梯度（下降）法,选择初始点a0，给定容许误差，设定学习率。设k=0； 计算梯度J(ak)； 修改ak： ak+1 = ak -J(ak) 计算J(ak+1)，并检验|J(ak+1)- J(ak)|，若满足则转6 k=k+1，转2 输出结果，结束,补充 材料,
