《计量经济学知识点讲解》由会员分享，可在线阅读，更多相关《计量经济学知识点讲解（8页珍藏版）》请在金锄头文库上搜索。
1、统计学，你知道P?我们只邀请神圣的好奇心来关注！无论怎样的分布、样本，变成p值后的统计量，如同坠入。1之间的落魄灵魂，等待那 个神秘的0.05来裁决其命运。P-value是一个广为人知的统计学术语、却也是被人们误用最多误会最深的统计学概念。P-value实际上是一个条件概率，指的是观测值及更极端事件在零假设成立的条件下 发生的概率。其中极端是指比观测值发生的概率更小。写在前面，统计学的轮廓虽然现代统计学已经开展出浩如瀚海的内容，但最基本、最常用的经典统计学一般还是 分为描述统计和推断统计。年中趋势离散程度相关性回归分析线性回归-相关与回归分析范5/多元/时间序列/生存分析 形状-描述统计学汇总
2、表关联程度国示法广义爱性懂型广义爱性懂型研究设计方差分解方差分解统计学生物统计学工元计学应用已社会统计学空间统计学讨统计推断调有方法-ef数据收集受控实睑不爰控研究统计理论频率派推断贝叶斯推断蓼技估计：点估计、区间估计假设检睑、参数检验七微信号:ksiworld由思想到方法到工具要准确地解释和正确地理解P-value,必须回到统计检验的思想起源。假设检验理论体系的建立，要归功于E.Pearson和J.Neyman(1928)的工作。而实用层面 那么以K.Pearson(E. Pearson之父)和Fisher两位大师所主导。而更早前，也有人提及和研究过 假设干零散、孤立的特定检验问题。P值是F
3、isher(1922)提出来的“显著性检验”理论体系中的概念。显著性检验的理论在当 时针对的是K.Pearson的大样本理论。K.Pearson主张获取更多的数据来做出更好的回归(拟合与预测)，而Fisher主张用精巧 的试验设计和显著性检验来达成较小样本即可解决问题，反对一味追求大量数据而忽视对探 索过程的优化。这个人没有决意过日子，而是决定去认识，这个人葬在哪里？在这里一一这里是他的归宿。这里浓云密布，电光闪闪，星转斗移。让欢乐驱除风暴，让平和普降甘霖！高超的设计必须通过相同的结局，高尚地安息。永别了一一难道还有比人间更崇高的生与死。统计学之父KarbPearson生前最爱的诗E.Pear
4、son试图弥合父亲K.Pearson与Fisher之间的学术分歧，与Neyman 一拍即合，两 人一起提出了“假设检验”理论。Neyman-Pearson的假设检验理论两个突出的特点是：引入了检验功效的概念；明确了构造统计量的一般方法；同时也导致了需要在不同的a阈值下频繁构造最优检验的大量研究,和在复合备择假设 下的大量复杂功效计算。为了消除神秘的a=0.05或0.01, Bayes学派明确将先验概率放在初始条件中，开展出 蔚为壮观的Bayes统计学，其中蕴含频率派理论作为一个古怪的特例。在Fisher、Neyman-Pearson Bayes等人的光辉思想指引下，各种通用或适合具体应用 情景
5、的检验方法纷纷涌现，进而不断编写进matlab、R、python、perl等语言的标准函数库或 应用包里。提出P值概念的渔夫(Fisher)Ronald A Fisher最迟在1920年左右已经创造P-value的概念。那时英国刚走出第一次世 界大战的阴霾，Fisher似乎还没决定到底要干嘛：梦想做一名皇家飞行员，却终成数学爵士！当中学校长受不了学生的愚钝，却最终门生遍天下。也用琏旃.孑！邕。必此之笨！五州希椅表a优2利！菖小办！邕小力！ ! !女5仁中学W分送杨启之所。o O 0一 -一4.山：士 一剑桥出身的Fisher有着不错的人脉关系，跟K.Pearson, Leonard Darwi
6、n（提出进化论的 那个达尔文的儿子渚R有书信往来。但出人意料的是，1919年冬，Fisher谢绝了 Pearson的邀 请，而踏着泥泞的乡间小路加入了伦敦郊区的Rothamsted农业实验站。从1919年到1933年的14年,Fisher埋头于此，竭其所能狙击当时如日中天的K.Pearson, 他将完成现代统计学的基础与统计遗传学的框架。Fisher和他的计算器在这混沌未开之时，一手生物学一手统计学的Fisher两线开战。面临海量数据，面临诸 多决策，化繁为简，Fisher采用的数字化决策工具，也就是p值。（应该提到的是：后期Fisher 更多采用likelihood ratio,这可能是他独
7、立于Neyman-Pearson引理中的最优似然比的另一个 创造。例如，如今遗传连锁分析中的LOD或LRT实际上源自Fisher）。P值的真正含义及其不堪重负个体绚丽的纹理，在共识中渐渐褪去，最终呈现为没有量纲的p值，在01之间摇摆不 定。t-test0.0 0.2 0.4 0.6 0.8 1.0微6号:ksW/sld同一类型的实验设计，会有不同样本、不同操作、不同分析，但只要以p值的形式进行 相互比拟，总是可行的。Fisher当时采用p值是为了内部决策，但在科学高度分工的当下，p值充当着实验之间 （或者作者与杂志之间）的桥梁，无可撼动地作为论文发表的一般等价物。More likely obs
8、ervationSet of possible resultsElssp 三spqoa:P值（即上图绿色区域所示）就是零假设为真的条件下观测点及更极端事件发生的概率。 对一元情形下极端方向的认定，按分布函数曲线图来说有三种情况：观测点及其左侧区域、 观测点及其右侧区域、概率函数值不超过观测点的两侧区域之和。那么在此提一个小问题：下列图试图展示三种情况下的P-value公式，哪一个或哪几个是 错误的呢（a=8为观测点）？P(i) p(i)apO)p(i)p(a)Zm，) p wp(a) iaP-va I ue计算公式可以看出，P值的定义非常明确、适用于所有概率分布；同时它也暗含着对“单峰”型以
9、外分布的排斥。自作聪明的人总是试图用看起来更通俗或者更多样的方式来表述对P值的理解，然而 绝大多数都是错误的。Goodman(2008)归纳了 12种常见的P值误解,并说“几乎从不可能永远正确地陈述它，一个根本的问题在于，很多人在理解中加入了本不属于P值内容的东西，比方对原假设 真假的论述、对拒绝或接受可靠性的期待、对假阴或假阳率的推论等等。实际上，P值就是P值而已，它赖以存在的基础是原假设成立这个条件，而不可能用P 值来肯定或否认原假设。比方基于P-value=0.009来做出拒绝原假设的决定，意味着原假设成立的情况中该决定 有0.9%的概率是错误的；但常常容易说成是，该决定有0.9%的概率
10、是错误的，遗漏掉了原 假设成立的关键前提。虽然个别具体语境下似乎不会导致错误，然而不同研究者之间交流时，遗漏研究论断的 前提会造成学术上的重大过失。使用P值的Fisher依旧为难首先是分布函数相比财大气粗、搞大数据的Pearson实验室，Fisher在Rothamsted的作坊以小样本数据 为主。要命的是，小样本下任何分布都不靠谱，相较而言，大样本中引入分布要相对可靠的 多。Fisher心里明镜似的。为了克服样本大小导入分布的风险，Fisher提出的另外一个策略是置换(permutation), 但那时无法有效实施置换计算能力不够。当然现在置换已经开展成为一种非常重要的随 机化策略，Boots
11、trapping方法可视为其策略背后思想的另一种延伸和实现。其次是阈值统计算个P5分钟前：p值算出来的，无非是一个01之间的数字，如何选定决策区间或决策点？Fisher选择的阈值是”1/20”,也就是0.05。他的解释是，就均匀分布而言，p值小于0.05, 意味着观察到一个小概率事件。而单次实验发生小概率事件，意味着本次实验结果是一个不 平常的事件，也就有了进一步调查或者更进一步实验的理由和依据。举个栗子如果抓100枚硬币，往天上一抛，落地后正面朝上的数目有95%的可能性在4060之 间；而实际操作中，观察到只有20枚正面，那么有理由猜想和进一步调查是否可能有人做 了手脚。统计教学或教科书中，
12、一般归纳为小概率原理，然而对0.05这个具体数值的选取合理 性避而不谈。P值就这样开始进入量化决策领域了。Fisher还先后写了好几本书Statistical Methods for Research Workers 和The Design of Experiments，其中都介绍了 p 值。因为当时计算能力有限，p值的计算采用了阈值的方法，到世纪之交，绝大多数教科书 中还是显著性水平a,以及拒绝域、接受域，还有供查阅的各种概率分布的阈值对应表，所 以当时的人只能从Fisher的书上查到p值大概是0.1、0.05,还是0.01。Fisher对于不显著的p值的态度非常值得玩味，他不是觉得不显著，
13、而是觉得样本太小， 无法检测到显著罢了。在笔者看来，一个具体的检验相当于一台观测仪器，p-value就是观测的结果，p-value 是否显著取决于观测对象的真实情况的累积效应和观测仪器的分辨率。疯狂的0.05历史是健忘又顽固的倔老头，偏偏记住了 0.05。计算机早就可以精确计算统计量的p值, 但大家还是习惯用0.01或者0.05作为阈值，于是引出无数公案，比方Eric Lander与Elston 关于全基因组基因定位分析的阈值的口水之争。P值虽不完善，但在一个封闭的流程里，前一次决策的损失稍后可以矫正。比方为了研 究遗传连锁，Fisher自己设计实验，把实验用的老鼠养到家里，拥有完整流程的Fi
14、sher有能 力抵御p值决策的风险。但当下的工业化科学中，各个流程完全分散，切成多段，财政独立结算，成果独立发表， 出现越来越多冲突的结果。有人批评这是因为p值不够严格，应该从0.05提高到0.01。实 际上主要问题在于科学生态的演化，各不负责的科学现状，不是单单调整p值可以解决。虚无还是替代Fisher引入p值，是为了量化决策，只是为了给出对原假设提出质疑的理由，并没有给 与p值太过于特殊的基础。对于Fisher,很多让别人抓破脑袋的事情，在他看来是“显而易 见，的尽管他视力非常不好。相比之下，K.Pearson致力于获取更大量的样本和数据，极大地开展了描述统计学并对 推断统计学也有重要贡献
15、，奠定了其统计学之父的地位。但是Fisher的试验设计思想方法与显著性检验理论一起赢得了众多无法豪掷千金的科 学家的青睐。当Fisher在与K.Pearson的斗争中逐渐占据上风、最终大获全胜之时，却跟 K.Pearson 的儿子 Egon Pearson 升级了战火。E.Pearson试图弥合父亲K.Pearson与Fisher之间的学术分歧，遇到从测度论进入统计领 域的Neyman后，两人一拍即合，提出了“假设检验”理论，其中吸收了 Fisher的显著性检验 思想。相比于Fisher针对单一假设用P-value表示显著性水平，著名的Neyman-Pearson引理 是说：最优检验的统计量是备择假设与原假设下的似然比，这导致了跟Fisher的“显著性检 验”区别最大的概念 功效或势(power of test)o但Fisher并不领情E.Pearson的做法，他似乎非常不喜欢Neyman的任何想法。如果 Neyman花力气证明了一个Fisher曾经所谓的“显而易见”的结论，Fisher必斥其理解错误。 如果Neyman拓展了 Fishe
