《第三讲参数估计》由会员分享，可在线阅读，更多相关《第三讲参数估计（26页珍藏版）》请在金锄头文库上搜索。
1、第三讲第三讲 参数估计参数估计一、参数及其估计一、参数及其估计二、替换原理二、替换原理三、极大似然估计法三、极大似然估计法惶顽愁述硬石狱团活浴望沛能档社昨传把音触渐茎授好刑技惹挚浴甘松划第三讲参数估计第三讲参数估计一、参数及其估计一、参数及其估计在解决实际问题中，当构造了统计模型，在解决实际问题中，当构造了统计模型，我们首先关心的是分布族中的那一个分布产我们首先关心的是分布族中的那一个分布产生了我们所抽取的数据，即就是要从样本来生了我们所抽取的数据，即就是要从样本来推断总体的分布或所感兴趣的总体特征数推断总体的分布或所感兴趣的总体特征数（如总体（如总体均值均值、方差方差等）。等）。统计推断分为
2、统计推断分为参参数估计数估计和和假设检验假设检验，我们先来讨论参数估计。，我们先来讨论参数估计。尹荚健蜜来刻朽峡幼靴醒棚冬勃虑醉衬锦芋哪会毖柞欢迷炉虎懒廖慷峙盯第三讲参数估计第三讲参数估计通常我们也称其为参数。通常我们也称其为参数。如如废品率。废品率。但上述有关参数的概念并不局限于但上述有关参数的概念并不局限于参数统计模型，参数统计模型，在非参数统计模型中亦存在，在非参数统计模型中亦存在，受是异狡濒匿捧郁赎叼饶碱谩鼠碱钒折操叠款燎英捌渍徐检量位硷震锻车第三讲参数估计第三讲参数估计特征数也都是参数。一般地，有关参数和估特征数也都是参数。一般地，有关参数和估计量，我们有如下定义。计量，我们有如下定
3、义。定义定义3参数（参数（Parameter）,估计量估计量（Estimate），简称估计。，简称估计。拘飞停搞凿窟睁锹由四寨残无砸皑挽绎汁亡吓尊枷弓迷钠辈肄麓拎失瘁孙第三讲参数估计第三讲参数估计二、替换原理二、替换原理 1. 频率替换法频率替换法考虑考虑n次独立重复试验，每次试验有次独立重复试验，每次试验有k中中可能的结果可能的结果敢臼紧立蔡苇谩掖杨萨诊千筑缕眉刘泞继邱迂呈稠汉疑刹凯味材战铝隶盆第三讲参数估计第三讲参数估计父辈从事第父辈从事第3种职业的种职业的708个丹麦男性的职业数据如下：个丹麦男性的职业数据如下：0.130.310.410.120.0395217289842354321例
4、例5 考虑男性总体。设男性的职业类型分为考虑男性总体。设男性的职业类型分为五类，五类，谊侨啄辩灰屯茨耘涣宪芥梧楼逝峪敬央亿值藩吞磋闷陕经难弃箔兵柱蛙颐第三讲参数估计第三讲参数估计根据根据频率替换频率替换原理原理，最自然的方法就是用样本频率，最自然的方法就是用样本频率例如在例例如在例5中已知第中已知第4和第和第5种职业相于蓝领，种职业相于蓝领，瘪翘膛牲眨研丸秀耽谓蛹到主暮吭顶钥掀伺谭迫风恐杀描盖环益图碾伊瞧第三讲参数估计第三讲参数估计第第2和第和第3种职业相于白领，我们感兴趣的是种职业相于白领，我们感兴趣的是蓝领工人和白领工人比率的差，即蓝领工人和白领工人比率的差，即使用频率替换原理，有使用频率
5、替换原理，有兑删慕捆多芋伞阀谰扮礼婶顽扦焊惊晴塞慰学趟觉膊模汪徘痊战隅畦棠霄第三讲参数估计第三讲参数估计在实际问题中，常见的情形是：每次试验在实际问题中，常见的情形是：每次试验函数，函数，死硝鸭袜拷砍眉楔唉残呐唾议患苍庶歼歼醛鸵槽垃罩悉梆雪磷司遣抱八瑞第三讲参数估计第三讲参数估计上有定义和连续，则由频率替换原理可得上有定义和连续，则由频率替换原理可得扇绎织明佳迈舟始锥坏套喷帧橙侧馁爸眯塌柴诀析挫禁溺抽杜单蝇饮肠逸第三讲参数估计第三讲参数估计需要注意的是在上述估计过程中可能得到需要注意的是在上述估计过程中可能得到的估计是不唯一的，举例说明如下。的估计是不唯一的，举例说明如下。例例6考虑具有两个等
6、位基因的单个基因的遗考虑具有两个等位基因的单个基因的遗传平衡问题。传平衡问题。如果三种不同的基因型是可辨如果三种不同的基因型是可辨识的，识的，这就导致假设个体三种基因型发生的这就导致假设个体三种基因型发生的频率为频率为即著名的即著名的Hardy-Weinberg模型模型。倾剑吨授砧匣办狂明虫票苟悍摘且炕粗趁申琢决估肾窖莱榷纲腥陋西日逼第三讲参数估计第三讲参数估计由替换原理可得由替换原理可得 的三个不同的估计的三个不同的估计关于这三个估计优劣留以后讨论。关于这三个估计优劣留以后讨论。梆悠蛋钎啡谊熊杀诗跃晴淋辽勺倡暇铂院赠蚜丹擎琶狗冕畸对哺婪帚泞支第三讲参数估计第三讲参数估计2. 矩估计法矩估计法
7、矩估计法的主要思想是基于替换原理。矩估计法的主要思想是基于替换原理。相应的样本的前相应的样本的前r个原点矩为个原点矩为捎题吐轰徽墩垛处放称蓄堆厕亦脂协骋逮试漠林素肯炽钓漠赵侯砍权弥桶第三讲参数估计第三讲参数估计由替换原理可得由替换原理可得 的估计为的估计为这种方法称为这种方法称为矩估计法矩估计法，所得的估计量称为，所得的估计量称为矩估计量（矩估计量（Moment Estimate）。例例7例例8华儡惕譬毖歧辣崭褥爵泳旬珠魔挫乓惦臀钎尘率家措蔬矮题秋泣汗竖剐椎第三讲参数估计第三讲参数估计解解因为均匀分布的均值和方差为因为均匀分布的均值和方差为令令求解可得求解可得驻熔绿收苔浪熬北瘩猖筹站圭咐凯颤篓
8、脓筏赣庐仔廓蛀肝雅窿诞醇库嚎蹲第三讲参数估计第三讲参数估计注意注意：1. 总体存在适当阶的矩。总体存在适当阶的矩。反例，考虑反例，考虑Cauchy分布，其密度函数为分布，其密度函数为其各阶矩均不存在。其各阶矩均不存在。2. 对相同的参数对相同的参数 ，存在多个矩估计。，存在多个矩估计。例如，考虑总体是参数为例如，考虑总体是参数为 的的Poisson分布，分布， 兹昨吸拽梢批仪迎细傣秽盘掌瞩市划着劈触犯蔫亡虏会抗浴负痪杂琢皑喇第三讲参数估计第三讲参数估计三、极大似然法三、极大似然法 例例9 已知甲、乙量射手命中靶心的概率为已知甲、乙量射手命中靶心的概率为0.9极大似然法是另一种常用的估计法，先举
9、极大似然法是另一种常用的估计法，先举例说明其思想。例说明其思想。和和0.4，观察一张靶纸知，观察一张靶纸知10枪枪6中，且这张中，且这张靶纸肯定是射手甲乙之一所射，问究竟靶纸肯定是射手甲乙之一所射，问究竟是谁所射？是谁所射？古质喻板彬酪折拌春钠呛浙档沧筹股劫失葛型钩至溢炕诺烘疲汽鹿嫁阉实第三讲参数估计第三讲参数估计式。式。比较这两个值，比较这两个值，这张靶纸是乙所射的，这张靶纸是乙所射的，停密谦垒峪址抵醋漂脓揉芬夯人丈黍蜒崖疤矗抿骸洽隧长帕编浓漾揪名烫第三讲参数估计第三讲参数估计从这个例子可以看出，极大似然法是基从这个例子可以看出，极大似然法是基于这样一个统计原理：于这样一个统计原理：在一次试
10、验中，某一在一次试验中，某一事件已经发生，则必认为发生该事件的概率事件已经发生，则必认为发生该事件的概率最大（小概率事件原理）。最大（小概率事件原理）。分布为分布为茧或康缉蛮秉面颜拐荒铁猛薪病惟嚼商枪攒捎鞘锗雏携寓陌橙仿检博到侥第三讲参数估计第三讲参数估计简记简记似然函数似然函数，(Likelihood Function)极大似然估计极大似然估计,(Maximum Likelihood Estimate )简记为简记为MLE。哥标值排舔梳认出胯腊玲尖滇邱枢觉蔚氧仆镭征擎突倘跃铲矮桃亮苫冗蹋第三讲参数估计第三讲参数估计注意注意：当总体当总体X为离散随机变量时，为离散随机变量时，为分布率（分布列）
11、；为分布率（分布列）；连续随机变量时，连续随机变量时，函数。函数。而当总体而当总体X为为从以上分析可知，从以上分析可知，年阅什仅筋寡粗竹直章惹肄木碌循止刚耕纠五庄浅也莉筷妓兔廓怨衣瞳驳第三讲参数估计第三讲参数估计求极大似然估计的具体过程可归如下：求极大似然估计的具体过程可归如下：1. 当参数空间仅函有限个元时，可以用穷当参数空间仅函有限个元时，可以用穷举法求举法求2. 时，时，牲房著殴陇镀甲雅央瘪窍揖测塞暖申沛挑痞假她河爷鼠励靴离森大汗甲途第三讲参数估计第三讲参数估计这个方程称为这个方程称为似然方程似然方程，(Likelihood Function)求解似然方程可求解似然方程可例例10设总体设
12、总体X的分布函数为的分布函数为简单随机样本，简单随机样本，滥易寅验檬坟缚刘卞刨甲挎醋梧夕哗蝴迪绩八肠躯去噪聊纲爆钻转禄矾灼第三讲参数估计第三讲参数估计例例11 考虑考虑n次独立重复试验，每次试验有次独立重复试验，每次试验有k种种可能的结果可能的结果订焦氟屈泰暮灼郸庶骨厌铂纸某孺葫帛幸剔认戏愈蠕炎着却宰仆贝霍疗军第三讲参数估计第三讲参数估计例例12解解子溪炙牲山郡炎惠访佰闭盏捐甩广杭吠霓侥铅夕耪荷抉浚隅失仙勺统沃往第三讲参数估计第三讲参数估计的小。的小。故有故有注注：常常可以证明矩估计或常常可以证明矩估计或MLE存在，但存在，但无法获得解的解析表达式（显式解），无法获得解的解析表达式（显式解），这时可用迭代法等求数值解。这时可用迭代法等求数值解。鲍衙槽检嘻瑶澳柱匡识醒痊拴辩善即劫暖渠详泰奏轨栏呻绪孕匆娩它窃睹第三讲参数估计第三讲参数估计
