《矩阵简介与最小二乘法》由会员分享，可在线阅读，更多相关《矩阵简介与最小二乘法（46页珍藏版）》请在金锄头文库上搜索。
1、2017.2 矩阵简介与最小二乘法 耿修瑞 中国科学院电子学研究所 中国科学院空间信息处理与应用系统技术重点实验室 矩阵简介 最小二乘法 中国科学院空间信息处理与应用系统技术重点实验室 矩阵简介 历史 矩阵的雏形最早出现在东汉前期的矩阵的雏形最早出现在东汉前期的九章九章 算术算术。从莱布尼茨1693年首次使用行列 式开始，到1750年Gramer法则问世，到 1820年高斯（Gauss）提出消元法。人们 还 没 有 矩 阵 的 概 念 。 直 到 1851 年 ， Sylvester首先使用了矩阵一词，1855年 Cayley给出矩阵的乘法定义，矩阵才在英 国出现。在20世纪，当人们认为有限
2、维度 的矩阵已经终结的时候，计算机的出现， 让矩阵代数获得新生。直到今天，矩阵代 数仍然是计算机科学家和控制科学家爱不 释手的工具。 阿瑟.凯莱被公 认为矩阵论奠 基人 中国科学院空间信息处理与应用系统技术重点实验室 矩阵理论主要数学家贡献 矩阵简介 数学家 主要贡献 关孝和（日本） 行列式概念，行列式计算 莱布尼茨（德国） 行列式概念 欧拉 特征方程 克莱姆（法国） 克莱姆法则 范德蒙 范德蒙行列式 拉格朗日（法国） 特征方程，特征根 拉普拉斯（法国） 特征根 高斯（法国） 高斯消元法，矩阵乘积，矩阵的逆 柯西（法国） 行列式的矩阵表示，特征方程，对称矩阵， 正交变换 雅可比（德国，普鲁士）
3、 雅克比矩阵、雅克比行列式 凯莱（英国） 矩阵论奠基人，凯莱-哈密尔顿定理，矩 阵转置，矩阵之和，矩阵数乘，零矩阵， 单位矩阵，矩阵乘积，逆矩阵，特征值， 对称矩阵，反对称矩阵等 哈密尔顿（爱尔兰） 凯莱-哈密尔顿定理 西尔维斯特（英国） 矩阵的术语（matrix），特征根名词，西 尔维斯特矩阵，对角矩阵，惯性定律 弗罗贝尼乌斯（德国） 秩、正交矩阵、相似矩阵和合同矩阵，凯 莱-哈密尔顿定理 史密斯（英国） 增广矩阵 埃尔米特（法国） 埃尔米特矩阵 中国科学院空间信息处理与应用系统技术重点实验室 从线性方程组谈起 矩阵简介 mnmnmm nn nn bxaxaxa bxaxaxa bxaxax
4、a 2211 22222121 11212111 如何去看这个线性方程组？ 中国科学院空间信息处理与应用系统技术重点实验室 角度1：几个方程的交集（行空间） 矩阵简介 12 12 23 23 xx xx 一个问题：两个平面可以相交 于一个点么？ 思考：方程什么时候有解？什么时候无解？什么时候 有无穷多解？ 中国科学院空间信息处理与应用系统技术重点实验室 角度2：几个向量之间的关系（列空间） 矩阵简介 12 12 23 23 xx xx 12 213 123 xx 思考：方程什么时候有解？什么时候无解？什么时候 有无穷多解？ 中国科学院空间信息处理与应用系统技术重点实验室 角度3：线性变换的角度
5、 矩阵简介 Axy 11121 21222 12 n n mmmn aaa aaa aaa A n x x x 2 1 x 1 2 n y y y y :A xy 中国科学院空间信息处理与应用系统技术重点实验室 1. 缩放变换： 矩阵简介 1212 ,T x xkx kx 0 0 k k T 0.5k 注意观察变换前后图形面积的变化 中国科学院空间信息处理与应用系统技术重点实验室 2. 反射变换： 矩阵简介 1212 ,T x xx x 10 01 T 中国科学院空间信息处理与应用系统技术重点实验室 3. 旋转变换： 矩阵简介 121212 ,cossin,sincosT x xxxxx co
6、ssin sincos T / 4 注意观察变换前后图形面积的变化 中国科学院空间信息处理与应用系统技术重点实验室 4. 挤压变换： 矩阵简介 1212 32 , 23 T x xxx 3 20 02 3 T 注意观察变换前后图形面积的变化 中国科学院空间信息处理与应用系统技术重点实验室 5. 错切变换： 矩阵简介 12122 ,1.25 ,T x xxx x 11.25 01 T 注意观察变换前后图形面积的变化 中国科学院空间信息处理与应用系统技术重点实验室 投影变换 置换变换 移位变换 离散余弦变换 傅里叶变换 小波变换 主成分变换 微积分 卷积 。 矩阵简介 11121 21222 12
7、 n n mmmn aaa aaa aaa T 中国科学院空间信息处理与应用系统技术重点实验室 矩阵简介 实特征值 10 8 6 4 2 2 4 1510551015 G4 G3 G2 G1 B3 B4 B2 B1 u1 u2 12 1 12 34 2 34 1.5 0.5 B B GG B B G G 222 111 uAu uAu 0.51 10.5 A 中国科学院空间信息处理与应用系统技术重点实验室 矩阵简介 复特征值 i i ei ei 4 2 4 1 7071. 07071. 0 7071. 07071. 0 T T agag7071. 00ImIm 07071. 0ReRe 21
8、21 uu uu 10 8 6 4 2 2 4 1510551015 Imag(u) Re(u) 4cos4sin 4sin4cos A 中国科学院空间信息处理与应用系统技术重点实验室 最小二乘法 历史简介 1801年，意大利天文学家朱赛普 皮亚齐发现了第 一颗小行星谷神星。经过40天的跟踪观测后，由于 谷神星运行至太阳背后，使得皮亚齐失去了谷神星 的位置。随后全世界的科学家利用皮亚齐的观测数 据开始寻找谷神星，但是根据大多数人计算的结果 来寻找谷神星都没有结果。时年24岁的高斯也采用 了一种新方法（即为最小二乘法）计算了谷神星的 轨道。奥地利天文学家海因里希 奥尔伯斯根据高斯 计算出来的轨道
9、重新发现了谷神星。高斯使用的最 小二乘法的方法发表于1809年他的著作天体运动 论中，而法国科学家勒让德于1806年独立发现最 小二乘法，但因不为时人所知而默默无闻。两人曾 为谁最早创立最小二乘法原理发生争执。最小二乘 法自创立以来，在自然科学乃至社会科学的各个领 域产生了广泛的应用。 高斯（Gauss, 17771855），德国数 学家，最小二乘法创 始人。 中国科学院空间信息处理与应用系统技术重点实验室 最小二乘法最小二乘法通常用来研究 两个变量或者多个变量之 间的关系。以常用的直线 回归为例，已知一组观测 点 分布在直角坐标系中（如 图），如何用一条直线最 佳的拟合这些散点？ 最小二乘法
10、 X Y O 1122 ( ,),( ,),(,) nn x yx yx y 直线拟合示意图 baxy 中国科学院空间信息处理与应用系统技术重点实验室 最小二乘法最小二乘法通常用来研究 两个变量或者多个变量之 间的关系。以常用的直线 回归为例，已知一组观测 点 分布在直角坐标系中（如 图），如何用一条直线最 佳的拟合这些散点？ 最小二乘法 X Y O 1122 ( ,),( ,),(,) nn x yx yx y 直线拟合示意图 baxy 中国科学院空间信息处理与应用系统技术重点实验室 最小二乘法 baxy baxy baxy nn 22 11 最小二乘法求解，相当于寻找a,b。使得如下公式尽
11、量成立 可建立优化模型如下： 2 , 1 min ( , )() n ii a b i f a baxby 最小二乘法的一般解法最小二乘法的一般解法 中国科学院空间信息处理与应用系统技术重点实验室 最小二乘法 对自变量a,b求导，并令其为0： 化简可得解为： n i i n i i n i i n i i n i n i n i iiii x n a y n b xxn yxyxn a 11 2 11 2 111 1 0)(2 0)(2 1 1 n i ii i n i ii ybax b f xybax a f 中国科学院空间信息处理与应用系统技术重点实验室 最小二乘法 则线性模型可以表示为
12、： 最小二乘法的矩阵解法最小二乘法的矩阵解法 12 , T n x xxx 12 , T n y yyy T 1 , 1 , 1 l ， 首先记： lxyba , ,Xx l T ba,c ， 进一步，令 则线性模型可以进一步表示为： Xcy 中国科学院空间信息处理与应用系统技术重点实验室 最小二乘法 优化模型转化为： 对自变量求导，并令其为0 2 min ( )f c cyXc 22 TT f c X XcX y0 可得模型的解为 yXXXc TT 1 中国科学院空间信息处理与应用系统技术重点实验室 最小二乘法 一个简单的例子：假设有三个观测点，分别为 )3 , 3() 1 , 2(),1
13、, 1 (和 3 1 321 3 1 311 3 11 1 3213213 3113213*31*21*13 11 2 222 2 11 2 111 n i i n i i n i i n i i n i n i n i iiii x n a y n b xxn yxyxn a x y y=x 1 3 12345 1 2 3 4 O 方法1： 方法2： 3 1 1 3 1 1 111 321 13 12 11 111 321 1 1 yXXXc TT 中国科学院空间信息处理与应用系统技术重点实验室 最小二乘法 最小二乘法中的变量问题最小二乘法中的变量问题 在前面，我们通过给出一组散点的最佳直线拟合阐述了 最小二乘法的基本原理。对于同样的一组散点 ，我们用 来拟合这组散点是否可以得到同样的结果呢？ byax 22 11 byax byax b
