吴喜之-统计学基本概念和方法-

《吴喜之-统计学基本概念和方法-》由会员分享，可在线阅读，更多相关《吴喜之-统计学基本概念和方法-（65页珍藏版）》请在金锄头文库上搜索。

1、应用统计学参考书目：n1、统计学：基本概念与方法吴喜之译著，高等教育 出版社n2、统计建模与R软件，薛毅编著，清华大学出版社n3、复杂数据统计方法基于R的应用吴喜之编著， 中国人民大学出版社关于课程n统计的基本思想n学会用统计处理问题n统计软件的使用(Matlab, R，)第一章 一些基本概念什么是统计学?n1. 数据搜集：取得数据n2. 数据分析：分析数据 n3. 数据表述：图表展示数据n4. 数据解释：结果的说明收集、分析、表述和解释数据的科学收集、分析、表述和解释数据的科学 统计学的作用n我国著名的经济学家马寅初指出“学者不能离开统计而治 学，政治家不能离开统计学而施政，事业家不能离开统

2、计 而执业”。n美国著名的科幻作家威尔斯说“对于追求效率的公民而言 ，统计思维总有一天会和读写能力一样重要”。n在诺贝尔经济学获奖者中，2/3以上的研究成果与统计和 定量分析有关。n美国总统的年薪已经达到40万美元，在各国元首中名列前 茅，但根据美国工作等级年鉴一书的排名，总统一职 并未进入最好的职业之列。在美国，最好的职业是统计学 家。n以归纳为主要思维方式的统计不是以演绎为主的数 学n统计可应用于各个不同学科，在有些学科已经有其 特有的方法和特点；如生物统计(biostatistics) 、经济计量学(econometrics)以及目前很热门的生 物信息(bioinformation)和数

3、据挖掘(Data Mining)的方法主体都是统计统计的特点统计的一些例子一些例子n大家经常在报刊杂志上看到类似的报道：通用汽车37%的销售额来源于北美以外；我国失业率下降到25年来的最低点4%；上证指数接近2000点。我曾在网上利用“百度”搜索引擎对互联网上有关网页进行搜索 ，得到的结果是：包含“旅游管理”这一词汇的网页高达25,500,000项，包含“公共事业管理”这一词汇的网页有100,000,000项。以上数据实际上都是通过数据收集，统计得来的。n生活中我们也会不自觉地用到统计，比如说，我们可能经常去高中同学所在的学校去玩，他给你介绍同寝室的张三，要你猜他是哪儿人，只见他足有一米八，身

4、材魁梧，你可能会问：你是北方人吧？反之，你可能会认为他是南方人。这实际是应用了统计中平均值的知识。一些例子n每当季节交替之时，商场都要对有关商品进行打折销售,那么为什么商 家要进行打折销售，它怎么才能保证打折后的利润不会有损失？至少 是打折后的利润要好于不打折的利润，那么这个折扣的度是要事先进 行分析的。商家在销售之前通常都会对销售量和打折的度进行一个简单的估计， 这里所用到的就是统计学中的参数估计理论。n有观点认为，红楼梦的后40回不是曹雪芹所著而是高鹗所写的。 在1981年，首届国际红楼梦研讨会在美国召开，威斯康星大学的陈 炳藻就发表这样的一篇论文，从词汇上的统计作者的问题 。他从字、词出

5、现频率入手，通过计算机进行统计分析，对红楼 梦后40回系高鹗所作这一流行看法提出异议，认为120回均系曹雪芹 所作。这个就是利用了统计学中的假设推断理论进行分析的。n随着人类文明的出现，就产生了最初的统计实践活动。n统计实践活动随着国家的产生而不断加强和完善。n早在四千多年前的中国夏禹王朝，为了治国治水的需要，曾进行初步 的国情统计，查明当时中国有人口约1355万人，土地约2431万顷，并 将全国分为九州。n公元前3000多年，古埃及为了建造金字塔征集经费、劳力，对全国的 财产、人口进行了数次普查。n 我国在春秋战国时期，管仲就明确指出“不明于计数，犹如无舟楫欲 径于水，险也”；商鞅提出了“强

6、国知十三数”，系统地列出了治理 国家必须了解的十三项指标，包括人口、土地、粮食等。n我国的周易正义中写到原始社会：“事大，大结其绳；事小，小 结其绳；结之多少，随物众寡”，这就是人们对社会现象进行的简单 的记录和计量活动，于是产生了最早的统计萌芽。统计实践的出现1. 创始人：海门尔康令Herman Conring （1606-1681，德 国）继承者：格特弗里德阿亨瓦尔Gottfried Achenwall （1719-1772，德国）2. 他们在德国的大学开设了一门新课程 “国势学”，主要讲述有关国情国力的系统知识，包括土地、人口、政治、军事、财政、货币、科学、艺术和宗教等。阿亨华尔首先将

7、“国势学”正式命名为 “统计学”。3.但是由于他没有将数量分析引入进来，因此“ 国势学派”有 “统计学”之名而无“统计学”之实。古典统计 学时期（17世纪中叶至18世纪末）近代统计 学时期（19世纪初至20世纪初）n数理统计学派的代表人物比利时的凯特勒博士深受拉普拉斯影响，在其 社会物理学中将概率论引入统计学，在生物统计和天文学研究中成 功地运用了二项分布和正态分布方法。凯特勒博士认为要促进科学的发 展，就必须更多的应用统计学，大力提倡采用统计方法对自然现象和社 会现象的规律性进行观察。n社会统计学派的代表人物有克尼斯，梅尔和恩格尔等。社会统计学派继 承和发展了“政治算术学派”的理论体系，完善

8、了统计有关描述性的分 析方法，建立了较为完整的统计指标方法和社会统计学科体系，对当时 的政府统计工作和统计学理论的推广产生了积极的促进作用 讨论题 恩格尔指数及其应用？恩格尔系数（%）= 食品支出总额 /家庭或个人消费支出总额100% 国际上常常用恩格尔系数来衡量一个国家和地区人民生活水平的状况。根据联合国粮农组织 提出的标准，恩格尔系数在59%以上为贫困，50-59%为温饱，40-50%为小康，30-40%为富 裕，低于30%为最富裕。 n20世纪初，大工业的发展对产品质量检验问题提出了新的要求，即只抽取少量产品作为样本对全部产品的质量好坏作出推断。因为大批量产品要做全面的检验，既费时、费钱

9、，又费人力，加之有些产品质量的检验要做破坏性检验，全部检验已不可能。1908年，英国的威廉.希利.高赛特提出了小样本t统计量，利用它就可以从大量的产品中只抽取较小的样本完成对全部产品质量的检验和推断，这样就使统计学进入了现代统计学的新阶段（主要是推断性统计学）。n之后由费歇尔、卡尔皮尔逊、奈曼、瓦尔德等为代表的一代统计学大师，共同完成了现代统计学的理论框架，使统计学成为一门严谨的学科，同时数理统计学逐渐成为了主流统计学。1950年以后，受计算机和新兴科学的影响，这一时期统计学的研究和应用范围越来越广。现代统计 学的发展时期（20世纪初到现在）大数据时代淘宝中的统计n男人和女人理财消费有什么不同

10、？浙江和北京民众理财习惯有何不同？ 天秤座和处女座谁更爱理财n数据显示，男性用户对于在淘宝上买理财产品，总体上比女性更积极。 在淘宝理财的总用户中，男性用户占比56.3%，多于女性。n在现有的理财用户中，浙江人热情最高，占据所有用户的18%，遥遥领 先全国。而北京用户出手则最大气，人均购买理财产品9920元，几乎是 全部用户人均3417元的3倍。n天秤座无疑是理财意识最高的星座，该星座用户占总用户的21%，而金 牛座则是理财意识最淡薄的星座，该星座用户仅占总用户的6%。不同星座的男女，在购买金额上也是表现各异。男性用户中，摩羯座出手最豪 爽，人均购买金额达到6889元，而巨蟹座出手最谨慎，人均

11、购买金额仅 3001元；在女性用户中，天蝎座出手最豪爽，人均购买金额为7401元， 而天秤座出手最谨慎，人均仅2400元。一些例子n某企业开发出一种新的化妆品，在正式投产之前，需要根据市场需求 情况制定其价格和销售策略。该企业委托某市场调查公司在全市200万 户家庭中抽取1000户家庭试用，然后了解该化妆品的销售前景。 如何科学地从该市200万家庭中抽出这1000户家庭进行调查，并由这1000 户家庭反馈的市场信息科学地推断出全市200万户家庭对该化妆品的购 买意愿这一数量规律，这就需要应用统计学当中的抽样方式的知识。n更高级一点的统计理论呢，也能在我们的日常生活中反映出来，我们 在做汤时，尝

12、一下咸淡这个过程上升到统计理论的范畴，包括抽样方法(简单随机抽样)、分 布理论（均匀分布）、推断理论（以样本推总体）。你相信统计结果吗？n数据可以有误或作假n统计方法（有意或无意）使用不当可以误导。有低 级误导和高级误导。n常识判断和直觉是重要的关于美国选举的两个例子(1)n谁会在1936选举中获胜 ?Alf London还是 F.D.R.( 罗斯福)? nLiterary Digest (文摘)送出一千万份问卷(返回二 百四十万份)后,预测London 会赢. n而Gallop(盖洛普)只问了5000人说 Roosevelt (罗 斯福)会赢. n最后罗斯福和盖洛普都赢了.文摘倒闭了.关于美

13、国选举的两个例子(2)n谁会在1948选举中获胜 ? Thomas Dewey还是Harry Truman(杜鲁门)? nCrossley, Gallop(盖洛普), Roper所有都预测 Dewey 会赢(每个机构用了5000个问卷). n最后(包括盖洛普)他们都输了, 而杜鲁门赢了.统计 学的分类统计方法描述统计推断统计参数估计假设检验一、描述统计 (descriptive statistics)1.研究数据收集、整理和描述 的统计学分支 2.内容q搜集数据q整理数据q展示数据q描述性分析3. 目的q描述数据特征q找出数据的基本规律0 025255050QQ1 1QQ2 2QQ3 3QQ4

14、 4￥x x = 30 = 30 s s2 2= 105 = 105二、推断统计(inferential statistics)1.研究如何利用样本数据 来推断总体特征的统计 学分支2.内容 参数估计 假设检验3.目的对总体特征作出推断 样样 本本总体总体三、 理论统计学(Theoretical statistics) 和应用统计学(Applied statistics) n根据统计学研究方法和统计方法的应用范围不同，统计学分为理论统计学和应用统计学。n理论统计学主要研究统计学的基本原理和基本方法，研究如何将数学原理和计算机技术应用于统计学，发展出新的统计学方法和技术。n应用统计学主要是研究如

15、何将统计学的方法和原理与实际问题相结合，使用统计学的方法解决实际问题。统计的一些做法n统计可以指导我们收集数据.n当拥有来自一些变量(指标)的数据或记录,但缺乏模型来描 述这些变量之间关系的情况下,可用统计方法建立模型.n在有了一定的模型时,统计可以确定手中数据是否令人信服 地支持某种论点.模型也用来对未来进行预测.n统计直观的图表展示,可以使各个领域的专家容易理解统计学的目的n任何客观事物都是必然性与偶然性的对立统一。同样，任何 一个数据也都是必然性与偶然性共同作用的结果。必然性反 映了事物本质的特征和联系，是比较稳定的，因而它决定了 事物的内在本质是有规律可循的。偶然性则反映了改事物每 个

16、表现形式的差异。如果事物只有必然性一个方面的特征， 事物的表现形式就会比较简单，就可以比较容易把握它的规 律性。正是由于偶然性的存在，形成数据表现形式的千差万 别。这样，必然性的数量规律性就被掩盖在表面的差异之中 了。n统计学的目的就是要从偶然性中探索到内在的、本质的数量 规律。从统计方法上看，统计学提供了一系列的方法，专门 用来收集数据、整理数据、显示数据的特征，进而分析和探 索出事物总体的数量规律性。统计的内容和需要的知识n数学的几乎所有内容(不一定事先知道需要什么)n用计算机做统计计算n其他(对象)领域的知识统计和数学的区别n数学思维是以演绎为主n统计思维是以归纳为主,兼有演绎n统计各领域利用几乎所有存在的数学内容 .n但统计本身的数学是为具体目标服务的, 自己一般不形成数学体系第五节、“虚假”的统计 学n统计数据的有效性:白血病,环保n好样本和坏样本:买桔子n调查中的非技术因素：措辞(stock)，社会文化的不同(自杀)案例分析（魅力）n 比如有两条这样