《赤池信息量准则AIC及其意义》由会员分享，可在线阅读，更多相关《赤池信息量准则AIC及其意义（9页珍藏版）》请在金锄头文库上搜索。
1、l方法介 数 产 赤池信息量准则I A C 及其意义 中国科学院 数学研究所刘璋温 今 1 引言 本文介绍一个在统计分析特别是在统计模型的选择中有着广泛应用的信息量准则 这个准则 叫做赤池信息量准则伍a k ik e s 玩f o rma ti o n c ri e ti o r n简记作lAc 是赤池弘 次 H Ak aik e t 6 8 1 5 在研究信息论特别是在解决时间序列定阶问题中提出来的 其定义由 Al c 一 一2 i h 模型的极大似然函数 2 模型的独立参数个数 给出 赤池建议 当欲从一组可供选择的模型中选择一个最佳模型时 选择I A C 为最小的模 型是可取的 当在两个模
2、型之间存在着相当大的差异时 这个差异出现于上式右边第一 项 而当第一项不出现显著性差异时 第二项则起作用 从而参数个数少的模型是好的模 型 因此 l A c 在理论结构上可以看作是采用了最小限度的假定这一 吝音之原理 pir n i c醉e o f a P s r h a oy n 的一个具体化 下面 我们先给出 Al c 的几个应用例 以说明 AC I 的有用性和广泛性 然后对I A C的 产生过程作一简短的介绍 2 AIC的若千应用例 用 Alc 处理统计问题大致分为下列三个步骤 l 提出统计模型 2 由极大似然估计法进行参数估计 3 由 A l c 的极小化来选择模型 2 1 AIC在决
3、定多项式回归次数中的应用 表 1的数据引自 1 8 是从 1 855 年至 188 4 年的 3 0年中两个试验区 的小麦产量 蒲 式耳 英亩 以及两区产量之差 其中第 9 试验区施肥硝酸钠 第 7 试验区施等量的硝酸 恢 把这个差点于图上 图 1呈现着这个差是有一定的标准差和均值随着年份的推移而 变化的一组来 自正态分布的独立观测值 本文系作者于 1977 年 8 月2 2 日至9月6日在黄山 举行的第一届多元分析讨论会上作的报告 根据各方面的 要求发表于此 在发表时 作者根据赤池弘次博士 1978 年1 2月来华讲学的讲稿作了一些 修改和补充 现在中国科学院应用数学研究所 表 I 年 份
4、9 9 一7年份 9 一7 二 二 0 今 且 3 11 1喻l 一3 4 气斗 5 斗5 5 一1 4 3 9 7 8 2 1 0 5 0 峪 7 舟 IJ iR 尹0 6 弓 沪 盈 书2 2 2 9 2 2 3 92 62 5 3 2 1 9 一0 2 9 3 一3 0 7 1 2 6 3 1口 U认 JaU 闰 月 护勺 d 护 O如1l 内j2 3一J飞 4 自了6n j气jr件 021 月 004 斗 3 4 初3 53 83 03 3 叨3 72 1抖3 53 1朽4 0 0 3 7 91 护 939 69 65 二 1月 斗 1五 J 1 工r 一 3 6 0八 n曰 一一一一
5、1 1855 1856 1857 1858 1859 1860 1 861 18 62 1863 186呼 186 5 1866 867 1868 18 69 1 870 1871 1 872 1 873 1874 1875 1 876 1877 1878 1 879 1 880 1881 1 8 82 1883 1 8 8 4 一 0 0 了八石 9 目I勺 产 9 9 勺了 口U2 9 工 2 臼 一 j 心 d R 月 勺了d J 沪 09Z Q R 一 3 几 月 3内 一 斑 ZJ 尺 J 今 dJ 2 3 648 声b O J 白8斗 心11 1 50 02 一 了nJ j凡 护
6、二4 妇O 子 夕QJ 内 斗 内j几 几j飞 斗哎 J 夕 4 一 j 马 丹j 鱿 二 曰曰 川川2 0 15 原始数据 一次 封 二次 五次 妇 翻 刊咧t 口 n US 咐 皿 甲压 556065 70 7580 一 嘴卜 85 年份 图 1 对于这种数据 通常设第 二 年 x 1 2 的 的观测值为 相互独立地服从均值 a 十 a声 十 十 召 砂 和方差护的正态分布 的估计值人 使残差平方平均 Y 二 并假定 y 二 用最小二乘法求 找 工川y 一 4 一 口lx 一 一 a x N 为最小 我们得到回归方程 夕 劣 lx x凌 65 对咬 l 2 5 的情形 分别配一次 二次和五
7、次多项式 我们得到 3576 5 雄 2 6 10汾 夕 二 一 雌 3 6 夕 二 一二7 02333 子 1 0 3二 o o 6 4 一41 57弓 x 一 o a Z 5 5 x o o 13s s x 二o 0 00 67x o 000 o r二 并在自上打了点二 甲 1着来 还是二次式仅 2 拟合得比较好 这表明欲得到一个 女 J l 创艺 翔 从 良好的估计值 次数的决定是何等的重要 按照最小二乘法 其实这里是极大似然法 的观点来说 残差平方平均越是小 模型的 拟合就越好 就此例来说 若设各个找的最小值为 轰 则 一 蠢 X Y 二 犷 t 二 8 i 一 命 夕 一夕 任 一
8、一 矗 Z Y 一 二 9 这样一来 拟合五次式的模型可能是最好的 可是 这个结论显然不是我们所期望的 现在用l A c 来处理此例 对回归情形 我们有 Al c 走 Ni n找 2仅十 l c 此处N 3 0 以及 为与左无关的常数 可令 c一0 对左 1 2 5 分别有 AIC 1 04 6 AIC Z 一 9 5 4 一 A IC 1 0 0 8 其中友 2 的l A c 为最小 由于I A C 是模型欠佳的一个指标 若把最小者所对应的模 型看做是最佳模型 那末可以判断正确的次数左一 2 所对应的模型是最佳的 我们还计 算了其他的报和l A c 它们是 器 3 3 9 I AO C 1
9、07 7 器 1 9 6 lAq 9 7 3 或 1 9 4 l A c 一99 0 可见仍然是互目 2 时的l A c 为最小 这个结论轰明 对于由噪声干 扰的信号的复原 利用 AC I 是有效的 上述结论跟i Fh s e r 一a Y s e t的最终判断是完全一致的 由此可知 从许许多多的 可供选 择的模型中 采用 AC I 为最小的模型这样一种单纯的方法是实用性极大的一个统计模型 决定法 由I A C 极小化得到的模型 叫做最小I A C估计 杯i n m m 从c oi tm ac t 简记作 MAIc E 22 AIC在独立性检验中的应用 独立性检验是在各种研究领域中经常采用 的
10、一种统计方法 这里 我们从l A c 的 角 表 2 2 不发病 6 7 5 9 11 3 96 6 6 度莱讨论这个问题 作为独立性检验的例子只 17 中有一个关于斑疹伤寒预防接种与发 病是否独立的 问题 我们引用于此 表 2 一 一 一 i F i sh e r 所作的妙检验 从I A C 的角度来说 无非是两个模型的比较 以pi 力表示 姐合i i 发生的概率 i j表示该组合的实现值 即已发生的例数 N 万x i 更 为其总和 当把从i i 看做参数时 其似然函数的对数 对数似然函数 可由 2 2 一 见 艺 i z In群 j 给出 这时 一个触是 除 杯 暴 Pi 声 之中可自由地
11、变动的是三个 而且 到 于是这个模型的l A c 是 1以外 不给模型附带约束条件时 四个参数 的最大值 可 通 过 置 p s 一 j 得 A C 一 一 2 国艺 n s In 试i s 2x3 1 1 另一方面 在发病与接种不相关 独立 的模型中 pi j p p i 并且 Z i 一 1 刃 二j 一 l 从而可 自由地变动的参数数目是两个 这时 l 的最大值可通过置 P i j N i N 七 N i N 得到 此处 N i i l 十 i 2 N i l j 2 于是这个模型的I A C 是 22 A e 一 一2 艺习 n s In N i N 2 2X2 卜i 1封 一 从 A
12、l c 最小化的角度来说 如果I A C 一I AO C x Z l 0 0 l 6 635 因为自由度 2一 珍 2 一l 二 1 一 在i Fh s e 的同一著作中利用护所作的拟合优度 独立性和一致性等的检验的 例子 都可如上例那样用I A C 来处理 所得的结论 就这些 例子而言 与i F sh er 用各种自由度 的护表所下的最终判断是完全相符的 考虑到利用I A C 不需要任何统计表和主观上的 议论 例如显著性水平 取多大等的议论 可以看出 lA c 的利用蕴涵着大量数据的统 计分析 自动化的可能性 感兴趣的读者可参看 51 2 3 Al c 在方差分析中的应用 这里 我们用 a
13、Bn c o r ft 的例子来说明 对 i 类型褐色煤i 1 2 3 用i种方法 1 示祝3 各分析友次 友一 1 2 得到煤的酸度为如对此作方差分析 se t r oh e u和 Br ow n le c 得到表 3 a B nco r ft 得到表 4 表 一 3 之 兰三巴 一卜全之一卜 旦里竺川 品翌兰二二一卜 一一二一 一 类 塑 均 0 02 4 1 5 2 万法 M 2斗 斗 2 u 6 2 2 1 3 66 冬 互作用 T只M 0 4 5 斗 0 036 少壁士生一品 卜 一二兰生 一卜一一生一一 一 翌竺生一一 一旦 四 l 2 9 7 表 4 卜 平均 平 方F 类型 劝
14、 方法 M 误差 二 e T xM 1 00 2 4 0 12斗4 0 1675 0 501 2 0 0622 0 0129 3 8 8 5 呜 8 2 总和 1 2943 2 2 2 2 2 2 2 2 2 2 l l l3 3 3 1 1 17 7 7 这个方差分析的模型是 一 产 夕 s 动 e 此处 产是一般平均 是类型 T 的效应 夕 是方法 M 的效应 a P 是交互作用 TX M 的效应 以及 沃 是误差 表 3 是对三个效应都作了检验 结果只有 T 是显著 的 而表 4 由于 T X M很小 可认为 叨 二 并把 T X M合并到误差中去检验其 余两个效应 结果都是显著的 可见
15、在方差分析中也存在着模型的选择问题 现在 我们用l Ac来考虑这个问题 如同 2 1的情形那样 这时的I A C 由 Alc Ni n 残差平方和 2 自由度 给出 此处 N 3x3xZ 1 8 于是 流IC T 181n 0 124斗 0 0 1斗 0 1530 2xZ 一 15 16 Alc M 1 8In l 0 0 24 0 014 5 o 1 5 3 0 2XZ 6 82 l A e T M 18 1 0 014 5 0 15 30 2 2 2 一2 4 16 Ale T M T x M 18 In 0 1 5 3 0 2 2 2 4 一17 79 Ale 了 Tx M 18 In
16、0 12 44 0 15 30 2 2 4 一一1 1 05 A le 对 Tx 对 18In 1 0 02呼 0 15 3 0 2 2 4 亚4 60 由于 Al c T M 为最小 我们只考虑有主效应 和几的模型 这与表 4 的a B c no rft 的结 论是完全相符的 这个例子告诉我们 利用I A C 可以导致正确的结论一 3 鑫IC 是怎样产生的 前面已经说过 I A C 是在解决统计预报问题中产生的 许 多统计问题 诸如检验和估 计 归根结底是个预报问题 然而从来的估计理论只是单纯地展开为未知参数的估计 而 且由于估计结果的利 用目的不够明确 不可能给出一个衡量估计精度的标准 对于预报 问题 只要给出最终预报精度的衡量标准 那末衡量参数估计量好坏的标准也就自然地确 定下来 现在 我们将历史地说明I A C 是怎样从预报问题中引进的 31 预报模型与最终预报误差 对于时刻 n 的一串平稳的观测值 y n 考虑由那以前的观测值的线性组合 a a 一 1 aZy n 一 2 a 夕 n 一左 来估计 y 的问题 对给定的数据 n 一乙 一 的估计值人 使 1 式 止 Z干 r
