计量经济学2 概率统计基础解析

《计量经济学2 概率统计基础解析》由会员分享，可在线阅读，更多相关《计量经济学2 概率统计基础解析（61页珍藏版）》请在金锄头文库上搜索。

1、计量经济学 Lecturer： 王振宏 Email: wdwzhong mobile: 13634256189 Office Address： 北7-1203D 第2章概率统计基础 第2章 概率统计基础 n计量经济学分析的变量多是随机变量，模 型都有随机误差项 n介绍计量经济分析的概率统计基础知识 内容提要 1随机性与概率 2随机变量和概率分布 3参数估计和假设检验 第一节 随机性和概率 一、计量经济分析、随机性和概率 二、概率的频率定义 三、概率的古典定义 四、概率的公理化定义 五、概率的性质 六、条件概率和统计独立性 一、计量经济分析、随机性和概率 （一）计量经济分析和随机性 n随机性指事

2、物的结果、水平不能完全事先确定 n计量经济分析的对象必然有随机性，随机性是 计量经济模型的根本特征之一 n来源：行为随机性、模型简化、观测统计误差 n随机变量，随机误差项，计量经济模型是随机 模型、随机变量模型。 n随机性是计量经济分析的矛盾焦点，也是计量 经济学产生发展的原因 （二）随机性和概率 n随机事物比确定性事物难以预测和把握 n但随机性和随机事物并不是无规律。表面偶然性 背后有内在必然性随机事物或者其特定结果 发生的可能性大小，“概率”（Probability）。 n概率由随机事物本身特征决定 n概率是描述、分析和利用随机事物的关键 n研究概率的几种主要方法概率的频率定义、 古典定义

3、和公理化定义 二、概率的频率定义 概率定义： 伯奴里大数定律（法则）的支持（P48） 三、概率的古典定义 （一）随机试验和样本空间 随机试验、样本点、基本事件、样本空间 随机事件样本点组合，性质同集合（交、 并、和、等价、包含、逆、互斥、差、完备 事件组） （二）古典概型和概率的古典定义 古典概型三个特征： 有限结果、互不相容、等可能 古典概型局限性： （1）古典概型要求试验的可能结果总数有限， 又要求某种等可能性 （2）推广到几何概率时还会导致一些矛盾（几 何概率不是结果数量有限，而是范围、测度 有限） 四、概率的公理化定义 柯尔莫哥洛夫（Kolmogorov）（1933年）在 集合论和测度

4、论的基础上建立了概率论公理 体系。 克服古典定义的缺陷 （一）事件和事件域 柯尔莫哥洛夫概率论公理化体系： 基本概念是样本点，不是事件。 样本点相应于随机试验的结果。 样本点看作抽象的点，它们的全体构成样本 空间，仍用 表示。 事件定义为 的一个子集，它包含若干个样 本点，事件发生当且仅当A所包含的样本点 中有一个发生 事件域就是由全体事件构成的集类，我们用F 表示。一般要求F满足下列三个要求： （i） F； （ii）若 F，则 F； （iii）若 F； ，则 F。 满足这三点集类称“ -域”或“ -代数” 事件域F就是定义在样本空间的 -域 和 都包含在F中。 （二）概率定义 概率是从事件（

5、也是集合）到实数的映射， 是一种集合函数。 定义：对事件域F中的每个元素A，概率是定义在 事件域F上，满足如下三个条件的集合函数 ： （i） ，对一切 F；非负 （ii） 完备 （iii）若 F， ，且两两互不相容，则 完全可加、可列可加 五、概率的性质：P29 六、条件概率和统计独立性 （一）条件概率 n已知B发生的条件下，事件A发生的概率 ，称为A以B为条件的“条件概率” 。 n性质：非负、规范、可列可加等（P31） n条件概率的含义：贝叶斯定理。 n在具体行动之前，无论决策如何制定， 在结果的证据收集并确认后，决策时可 以改变的。 n例如：某人认为A超市东西比B超市便宜 （二）全概率公式

6、和贝叶斯公式 是样本空间的一个完全分割，即两两互 不相容。那么由概率完全可加性和乘法 定理得 全概率公式 n贝叶斯公式 若 能且只能与 之一同时发生 ，那么 （三）事件独立性 n对事件A和B，若 则称它们是“统计独立的”。 n可扩展到更多事件的独立性 n若事件A和B独立，则 第二节 随机变量和概率分布 n在概率统计和计量经济分析中，人们更 关心的是有随机性的经济指标水平，都 是数量化的随机事件。 n例如某时刻的股票价格，某天某银行吸 收的存款数量，某商场某月的销售额， 某商品的市场价格水平等。 一、随机变量及其概率分布 （一）随机变量 （二）概率分布 （三）分布函数 （四）密度函数 （五）随机

7、变量函数的概率分布 （一）随机变量 n数量化的随机事件通常称为“随机变量 ”（Random variable） n随机变量是从样本空间扩张而成的 - 域到实数集的函数。 n随机变量也可以是通过对定性事件的数 量化转化而得到。 n“离散型随机变量”和“连续型随机变 量”。 （二）概率分布 n随机变重要的是它们取特定值的可能性，称为 随机变量的“概率分布”（Probability distribution）。 n离散型随机变量只能取有限或可数个值，概率 分布可以用罗列、表格、图形表示等。 n连续要用分布函数。 （三）分布函数 n连续型随机变量可能取值无穷多，每个值取到 概率无穷小，无法用罗列概率方

8、法表达研究。 n只能用反映随机变量取特定范围值可能性大小 的“分布函数”（Distribution function）， 也称“累积分布函数”（Accumulated distribution function）描述研究。 n分布函数随机变量取值不大于给定水平的 概率构成的函数： 离散型随机变量分布函数 随机变量的分布函数有如下性质 （P35） 已知随机变量的分布函数就知道了随机变量在任 何区间上取值的概率， 分布函数完整地描述了随机变量的情况，掌握分 布函数就等于掌握了随机变量的随机性规律。 （四）密度函数 n连续型随机变量概率分布另一个概念， “密度函数”（Density function

9、）或 称“概率密度函数”。 n密度函数 密度与分布函数关系 （五）随机变量函数的概率分布 如果 是随机变量 的函数 设 的分布函数为 ，则 的分 布函数为 二、多元分布和条件分布 （一）随机向量和多元分布 n“随机向量”概念研究一组有关联的随机变量 n 一个n个分量的随机向量 n随机向量的“多元分布”。 n“联合分布函数”两个或多个随机变量取 一组特定值的概率分布 n随机变量边际分布 （二）条件分布和随机变量的独立性 n条件分布 n随机变量的相互独立性 三、概率分布的数字特征 （一）期望 （二）方差 （三）期望和方差的性质 （四）条件期望和全数学期望 （五）高阶矩 （六）协方差和相关系数 四、

10、常见分布 （一）正态分布 （二） 分布 （三）t分布 （四）F分布 （一）正态分布 取值于（ ）的连续分布 正态分布完全由期望和方差决定 分布密度函数 数学期望 方差 正态分布记为 正态分布是以数学期望为中心的对称分布 正态分布密度函数具有“钟形”特征 95%左右集中分布在期望加减2倍标准差范围 99%以上集中在期望加减3倍标准差范围内 正态分布偏度为 =0 正态分布密度函数有常峰态，峰度 接近3 一般正态分布随机变量 变换成“标准正态分布” 密度函数 判断正态分布 n根据密度函数的形态进行判断：用频数直方 图的上方边缘作为密度函数的近似，判断随 机变量是否服从正态分布。 n根据偏度、峰度特征

11、检验：利用观测样本计 算三阶矩和四阶矩的近似值（与后面讲的抽 样分布有关），偏度和峰度近似值，如果接 近0和3，则认为随机变量服从正态分布，也 称“通过了正态性检验”。 （二） 分布 n标准正态分布随机变量的平方所服从的 分布。 n取值范围是（ ），显然是非对称分 布。 n数学期望等于自由度 ，方差为2 （三）t分布 设 服从标准正态分布 服从自由度为 的 分布 则随机变量 服从自由度为 的t分布 t分布概率密度函数形态类似标准正态分布 方差为 ，比标准正态分布平坦，尾部厚 （四）F分布 服从自由度 的 分布， 服从自由度 的 分布， 相互独立， 那么随机变量 服从的分布称为有两个自由度 和

12、的F分布 记为 五、随机变量的收敛性和极限理论 （一）随机变量的收敛性 n大量随机变量之和的概率分布是通过随机变 量序列极限分布表现的，极限定理的基础是 随机变量序列的收敛性。 n随机变量序列的收敛性与一般变量不同，是 概率、概率分布或者分布特征的收敛性，有 依分布收敛和依概率收敛等。 n不同的收敛性定义将导致不同的极限定理。 分布函数弱收敛： 对于分布函数序列 （为了简单起见 ，常常直接写成 ），如果存在函数 使 得 在 的每个连续点上都成立，则称“ 弱 收敛于 ”。 依分布收敛： 设随机变量序列 的分布函数序列为 ，随机变量 的分布函数为 ，如果 弱收 敛于 ，则称“ 依分布收敛于 ”。

13、依概率收敛： 对于随机变量序列 和随机变量 ，如果 或 对任意的 成立，则称“ 依概率收敛于 ” 。有时候也称 的“概率极限”是 ，并可记 为 （二）大数法则 伯奴利大数定理（P48） 独立同分布场合的大数定律（P48） （三）中心极限定理 独立同分布场合的中心极限定理（P49） 非独立同分布场合的中心极限定理（P49） 第三节 参数估计和假设检验 n随机变量取值往往无穷多，不可能通过全面调查了 解总体分布，只能根据从总体抽取的部分样本推断 总体情况。这称为“统计推断”，包括参数估计和假 设检验等。 n计量经济分析的观测数据相当于随机变量总体抽取 的样本，计量经济的回归分析就是根据样本推断总

14、体情况，因此计量经济分析与统计推断有非常密切 的联系。 n计量经济分析的样本不是按标准抽样方法抽取，是 通过受客观条件限制的观测得到，推断分析的难度 更大。 一、随机抽样和抽样分布 （一）随机抽样和样本统计量 样本、抽样、样本统计量 抽样：一般随机、重复等 样本统计量： 样本均值 样本方差 （二）抽样分布 1、正态总体小样本分布，样本均值、方差的分 布，样本线性函数的分布 2、一般总体的大样本抽样分布 中心极限定理与渐近正态分布 二、参数估计 （一）最大似然估计 （二）矩估计 （三）最小二乘估计 （四）估计量的性质 （五）参数估计方法的归纳和比较 （一）最大似然估计 （Maximum like

15、lihood estimates，ML） n基本原理：随机变量的分布参数水平在 数据生成过程中起着作用，不同参数水 平生成特定数据集的可能性不同，可以 根据生成样本的可能性大小估计参数水 平。根据事物出现的概率（几率、 可能性）的大小推断参数水平。 n如：一个老战士和一个军训学生各射击一次， 但只有一枪中靶。问可能是谁打中的。 n最大似然估计的核心是似然函数（Likelihood function）。样本同时出现的联合概率密度 n对数似然函数 例2-11：正态分布参数的估计（53） 已知一随机变量服从未知参数的正态分布 ，并且已经观测到一组样本 ，要求估计分 布参数。 例2-12：泊松分布参数的估计（53） 观测到一个服从未知参数的泊松分布的 随机变量的10个数据的样本，这些数据分别 为5