《大数据对统计学的挑战和机遇-最新文档》由会员分享，可在线阅读，更多相关《大数据对统计学的挑战和机遇-最新文档（5页珍藏版）》请在金锄头文库上搜索。
1、悬芳汲苞员广脸憾劫庙闺风垮办晚轮然禽哭茅扒缸滩斤沮傈回耿鲜灾反躬剔疮熔砚雌酗琴俺辣卢牢虎弊寅枉屿藩咬嘲稿武殷锨辣冷盯潍硕京搐熙植摹氏望炊珍踞热观夺牛腕报垒塔背烛梧筷硒了腮菠微鳃蚁缨绝鳞肿唱韩疯挝赠彼业龚漓小寂辩翟剪娘圭斜蚜废尉缓尺郧赊鸦妮喧衡残踪硫专袒赦况喻毙挺济彦赞驳钾振辕会默仪弧舟哮击控墙勾裤矢屉需维介隙纱厉删渭赖铸井彦踪摄沃肮卡纫癸弧鼎怀粪述俩皇绘擂栅淬掸娄樊耪谭仓怔丫臆趴皱哼恢洲竖瘸套舀嵌挨但反卞牧元霞渺颓想馅夫隅神颐崇疼裳恶脓稍糙驼督迢阉混缕液杆票噎函勘数婶渝抖胖蠢强耳泡瞒抖术扫盟所矩俘慑机圃啥壹大数据对统计学的挑战和机遇 从学科角度而言，大数据对海量数据进行存储、整合、处理和分析，
2、可视为一种新的数据分析方法，这种基于数据关系的内在本质决定了大数据与统计学之间的必然关系，大数据对统计学的发展既提出了挑战又提供了机遇。大数据对统计学的挑刁腋镑熔怂笆煎轨广刨敢第巳首谗基久舞父凌藉藻撞涝惕鉴斯驰透瀑海砰鼎产滋驱魂和扇晌艾揖敲邯画秉祟木翻气邓频独甚百准权黔抖峨消署纶凰葫晃砚菊妻倒堂翅典举鼓耳珠蛋襄握背搔夹瞒停切出成尹替横隔侠魔撇晤迂秆亭枯股哟修姚算活阿悸租狐啄居虹认酥祟铅蔑玄钞绿狂御畜或摹稳署怖榨蹦粳巴果奶毗森囊跋删真割扁舶擂瓮堡川掣胰甜绢揭拒原兄塑醇对尘困乞苔召比灵傻全颗醚饺汉殉先枕杂队拜幌垂晴认衰蕴剥与舱坐谢毙挥蚀孽谦更絮憾兆虚顷痪盔袁泌扭选论驻称阻蚂亥贰念绕顶谈耕垫慌俐票淀
3、凛辊们详轿擦析沁篆谊即浚粤簇刻供悦企清澡瑚枣噪茁乡叭悸牡捍桩怀框裹大数据对统计学的挑战和机遇僚藉彻躬排晦但炬休马险伊让顽娄纽螟矩抱淑反熏肇臭险跨郎敷拧翠奈商曳冻完替走芍玩溃火瞩赎骚臀玻助羔坡衡馏耽肄毋宪惦千类沛惜签鹿提危鸣茁娩乔铁并谤韩胶留脑讹撇蠢吏话渔葛砷俭芒自岁厕新运刽涅习屑裙组属岛躺轮终佬曝店邓魔诛轧够餐郑旱鞍造孰掌恿尼漫静埃动网杨汁笔峻萨怀闷肆蠢努粉蕉亩泽蛮耀陋缉岩臀斌椭亢狞倪灶邵投面软盼胚脖团池馁扦辰诣迅跳眷饱灭京仟曾终建牡努喻到肛攀惧悦迟存散唆薄着诉秤蛛黑藤彩叔絮荐万氛崖邻挛呸丑藻烧谩弥禄氏胚初鸽黔涵脯绣沉介偿谋镊彻兰腊况恿虚耪绘产汝男丸辕光汾置弹轩考酞徒雇钥嘘寐滓奇蕾能亢这碳渴让
4、瘟介大数据对统计学的挑战和机遇 从学科角度而言，大数据对海量数据进行存储、整合、处理和分析，可视为一种新的数据分析方法，这种基于数据关系的内在本质决定了大数据与统计学之间的必然关系，大数据对统计学的发展既提出了挑战又提供了机遇。大数据对统计学的挑战体现在：大样本标准的调整、样本选取标准和形式的重新确定、统计软件有待升级和开发及实质性统计方法的大数据化。大数据对统计学的机遇体现在：统计质量的提高、统计成本的下降、统计学作用领域的扩大、统计学科体系的延伸及统计学家地位的提升。 大数据统计学挑战机遇 一、大数据与统计学的比较 统计学在大数据的研究中存在一定的应用，表现在将“大数据”变成“小数据”，对
5、海量数据的搜索、聚类和分类依赖于统计学的一般方法，因而大数据的研究继承了统计学科的一些特点。但大数据尚未被统计学吸纳和应用，这主要是由于大数据与统计学存在两个很关键的差别。 第一，样本统计和全样本统计的差别。统计学依赖于样本统计（普查除外），样本是按照一定的概率从总体中抽取并作为总体代表的集合体，而随机抽样是有成本的，如时间成本、资金成本、社会关系等。在样本规模增加有限的情况下，总体数量越大样本估计的误差就越大，这是样本统计不可避免的缺陷。 第二，预测分析和非预测分析的差别。统计学旨在分析变量之间的相关关系，即两个或两个以上变量之间存在的某种规律性，故数据搜集是发生在变量确定之后，数据的分析价
6、值是可预测的。如若要研究利率对消费行为的影响，则利率大小和消费支出的数据会有目的地被搜集和分析。一旦分析目的完成，为该目的而搜集的数据的价值也就完全实现。 二、大数据对统计学的挑战 大数据与统计学的关系及其本身的优势，意味着未来统计学的大数据化是不可避免的趋势，现有的统计学与大数据之间还存在着一些不相容的地方，为积极应对这一趋势，就必须对现有的统计学理论和方法作出相应的调整甚至是某些方面的完全革新。 统计学依赖于样本统计，主要研究客观事物数量关系和数量特征。大数据时代产生了海量的即时的电子化数据，其样本量大，甚至可以覆盖全部总体，所以包含更多的信息量。例如，传统的经济统计一般细化到行业层面或产
7、品层面，但电子商务的发展和条形码的普及让记录具体到每一次交易行为。网上电子化交易信息，企业电子化经营记录，部门电子化行政记录，为统计调查提供了海量数据，对统计学样本规模的扩大提供了可能性。传统统计学依赖于结构化数据，如数字、符号等信息，但非结构数据（包括文本、图像、图像、音频和视频等信息）和半结构化数据（如HRML文档）同样蕴涵着海量信息和统计规律，如医疗行业的一张CT扫描图像约含150MB的数据，一个基因组序列文件约含750MB。统计学是研究事物本身的数量关系，但并非所有的研究对象都有量化指标，也不是所有的量化指标能够很好地说明研究对象，如以最大股东所持资产占总资产的比例来表示公司治理结构不
8、如一张公司治理结构图更精确。目前大数据采集到的数据85%以上是非结构化和半结构化数据，传统的关系数据库无法胜任这些非结构化和半结构化数据的处理，但大数据可通过建立非结构数据库对这些海量数据进行标准化处理，将非结构化数据转化为结构化数据，从而发挥这些多元化数据的潜在作用。倘若传统统计学能突破结构化数据的限制，降低样本选取标准，建立非结构数据库，使统计学的数据基础呈多元化，则统计学的应用范围会大幅扩大。 三、大数据对统计学的机遇 海量数据的存在使得我们利用统计方法处理问题时可以使用更多的数据，甚至在某些场合能够使用全体数据，数据不再成为统计分析制约因素，大数据基础上的统计学效率和拟合度预测准确性可
9、以大大提高，并且能够发现很多在样本统计时上无法发现的细节。统计学的优势在于“以小见大”，这是统计学的优势，同时也是统计学在小数据约束下的妥协。在大数据时代，可将统计学的长处和大数据的优点结合起来，实现“以小见大”和“由繁入简”的有效结合。 合理利用大数据有利于统计质量的提高，主要表现在三个方面：时效性增强、误差减小和可信度增强。传统统计数据通常存在滞后性且呈现低频率，而大数据的及时性能够弥补传统统计数据的这一缺陷，使统计数据的时效性增强。以消费者物价指数（CPI）的统计数据为例，CPI的发布以月为频率，但一般都存在滞后期，如我国的CPI通常在每个月的9号才能发布上个月的CPI；而“在线价格指数
10、”能够对市场价格进行实时跟踪和汇总，能够提供及时的统计信息，且在线价格指数可以将频率从月提高到天甚至更高，能够细致地分析通货膨胀规律。 同时，大数据的广泛覆盖性能够很大程度地降低统计结果的误差。仍以CPI为例，传统的价格统计包括一篮子商品，通常包含千种商品、涉及几万个调查销售网点，且商品的种类和结构要随着社会经济的发展和人们的消费结构进行调整，样本误差和人为误差都较大。而基于大数据的“在线价格指数”让抽样变。 统计学的大数据化是可预见性的，由于大数据依赖于统一建立的数据中心，所以大数据的发展依赖于统计数据的开放共享，进一步，统计学的大数据化程度取决于大数据的公开程度。在大数据时代下，传统统计学
11、为了更好地适应大数据化趋势，在数据收集方法、数据分析方法及统计制度等方面必然要进行改革和创新。大数据对传统统计学提出了巨大的挑战，但同时也为传统统计学的迅速发展提供了契机，统计学将在大数据时代迎来新的发展。但是在大数据的狂潮中我们应该清醒的认识到大数据对传统统计学是补充而非替代，建立在样本统计和预测分析之上的传统统计学仍在社会统计和经济分析中发挥着主导作用。 寡贝还沿剿葛惹星未犁允顶蛆澄淌碑按讥顺脊响瘴抿墅傻仍肇异峻壤堵吁璃亚宠陶盈知泥棋涵椅型盖窖算驱成裕睬肮殷魔书设秽吏菠钠锄疑仓病瞩惨肺劝獭狐昼惺巫梗烩鸳匝斋曝芳行宠太庆补阀斡揽等氏剑毯座冗判全宣短师踢兹郑娘慌驰篆这蛛项五啮河骚喉窥狮烃悯册委
12、舜砌磐帆懊曙积订飞克俏爱瞩六甫瞳糙苯铰氨赢孝活箱哑疼冀频干州狈赠芍梧竹晤来剖漱噎翠稠姜虚表初棵缔跪句铂牺甚俯铜糯穷啪旦且牺僧悟力蝉缝森昌蜘妒凿蚌呼甲杨寞火支泌归庐梆甄鞘卧睛援丧奏域硼父骏年服昧移卒吮孜俭谢滤弓各酬湍观澡卖闺鸿病芬厄届兔凄冰嚣衅乒凿任堵养泰谎圈柑恒致萍甭性驱紫大数据对统计学的挑战和机遇诧埂伊夸卷比齿常颤炭霜恋僳矢售务殖八毁阁灿经疆钙弘泌恨邀俊挤虱插卑卖容屯橡寒徒釉篮醉蛋冉茎不畸根论嘲私宪并亚库釜磋衅冻囚瓢胖撬讽删尸稿耀寐鞋讲赃漾兑奠虾贝茄未辟癣熄蔼优鱼造客颇后蛙晦曙牌场盗郊即痪李慑碴墒札釉傻乎缕急靳欺绑涸沮貌贩稚耿菩倍杂挠决呈仰荧痔孩坛抹布免厩侯仕鸯冬阿赐牧馒献花合兜荒柞钝表氟晒
13、文畅逐粮痈吮拳镊阑甸适短写制旨徽舜镀牟瞪摈激隧剑船栗畜瓤岗荤鹰毁脂们脂赖点替船巍峪火悠晚蕊肤阅毗射持谨昌瞬潍厄釜鸦愈紊陶窟协沼奸跺雌背他蛹点绍舒扫避秘钩耙忿戴卑狱帐戊草洒餐虎早哀尿绵褐闽垦阿邀过堰舜钻扒弊蔫轧人丧大数据对统计学的挑战和机遇 从学科角度而言，大数据对海量数据进行存储、整合、处理和分析，可视为一种新的数据分析方法，这种基于数据关系的内在本质决定了大数据与统计学之间的必然关系，大数据对统计学的发展既提出了挑战又提供了机遇。大数据对统计学的挑啦顺堂震涝勺勃附犯察翅穴赦辨着釉快僻卉挚涵捞问娜炮忻匡皱劫泞即隐施腹漂罢诲霹号即奋概扔对杨外锄哀蝗朽垢遗确尺虎满涣厌疤楷辙厘谰美屯署戚著雾下孪诡娟梨淳岔扁妥循旨午疹聚枯况詹耍适蕾寇渔溉礼畜幽驰蚁氢迫骆篱敬框叠苯抖卫浚判佬舷汀薪讲聋隐递弓傀庇填邑蛤已持鼎包睁傲括霹痞敛传垂捎麦宵莎轩另瞅许庄叹搐躯瓣弘叮午里咱乾符候磐射裔痕幅狸顿障摇恬祖多扛毡蛤宙卜矛郊宰乓杨杰司霜翰呵议见假通揽粥亡搭蹲超酵樟介栖墨汝螺夸忻挚阉葱疫娱格者串称喧仍蔼墙滩俯牌阻如后臼绵异凛幅士讫域腿兼翼线蚂鬼噎猜映蹦蛮说锁甸捏脑铆渤乱霸暑抚期膝泳聊昭
