《大数据培训知识(PPT-55页)课件》由会员分享，可在线阅读，更多相关《大数据培训知识(PPT-55页)课件（56页珍藏版）》请在金锄头文库上搜索。
1、大数据时代大数据时代目录大数据的背景大数据的背景大数据的定义大数据的定义大数据的分类大数据的分类大数据的应用大数据的应用大数据给我们带来了什么大数据给我们带来了什么大数据面临的挑战和趋势大数据面临的挑战和趋势大数据时代的统计大数据时代的统计一、大数据时代的背景一、大数据时代的背景交友网站社交网络QQ淘宝电子商务微信APP移动互联微博21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信
2、（通话、短信）都在疯狂产生着数据。“大数据”的诞生：半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸式的增长，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。全球每秒钟发送2.9百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5年每天会有2.88万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3年推特上每天发布5千万条消息，假设10秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16年每天亚马逊上将产生6.3百万笔订单每
3、个月网民在Facebook上要花费7千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EBGoogle上每天需要处理24PB的数据新的时代，人们从信息的被动接受者变成了主动创造者大数据时代到来大数据时代到来TBPBZBEB大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长根据监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在2020年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量数据量增加数据结构日趋复杂这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴大数据时代正在来临.大数据时代到来大数据时代到来二
4、、二、大数据的定义大数据的定义在2012年的IT业界中，“大数据”（Big Data）成了关注度不断提高的关键词之一。 “大数据”是一个起源于欧美的词汇。不过，关于这个词的起源时间并不是十分清楚。至今为止，最具影响力的说法是2010年2月出版的经济学家（The Economist）杂志中的一篇题为“The data deluge”的文章。其中，“deluge”的解释是数据洪流或海量数据。 那么，究竟何为大数据？ 一般来说，可以从狭义和广义两个层面来进行理解。狭义的大数据狭义的大数据 狭义的大数据就是指用现在的一般技术难以管理的大量数据的集合。 大数据不仅仅是容量大而已，可以用3v来描述大数据的
5、特征:Volume(容量)、Variety(多样性)、Velocity(速度)。1.容量也就是指数据量，基本上是指从几十TB到几PB这样的 数量级；甚至可能发展到EB数量级。（1TB=1024GB，1PB=1024TB，1EB=1024PB）2.多样性网站日志数据、Facebook等媒体中的文本数据，智能手机中内置的GPS所产生的位置信息，监控摄像机的视频数据等。3.速度也就是数据产生和更新的频率。广义的大数据广义的大数据广义的大数据是一个综合性的概念，它包括因具备3v特征而难以进行管理的数据对这些数据进行存储、处理、分析的技术能够通过分析这些数据获得实用意义和观点的人才和组织 这些人才和组织
6、指的是目前在欧美十分紧俏的“数据科学家”这类人才，以及能够对大数据进行有效运用的组织。 由此广义的概念可知，除了自身的特征外，人才的作用在大数据时代中日益突出。三、大数据的分类三、大数据的分类按生产主体划分按数据来源划分按存储形式划分少量企业应用产生的数据关系型数据库关系型数据库中的数据中的数据数据仓库中的数据仓库中的数据数据微博、微信微博、微信电子商务在线交电子商务在线交易日志数据易日志数据评论、留言或者评论、留言或者电话投诉等电话投诉等企业应用的相关企业应用的相关评论数据评论数据应用服务器日志应用服务器日志传感器数据（天传感器数据（天气、水、智能电气、水、智能电网等）网等）图像和视频（摄图
7、像和视频（摄像头监控数据等）像头监控数据等）RFID、二维码或、二维码或条形码扫描数据条形码扫描数据大量人产生的数据巨量机器产生的数据大数据的分类大数据的分类按生产主体划分按生产主体划分 1 1、BATBAT为代表的互联网公司。为代表的互联网公司。2 2、电信、金融、保险、电力、石化系统。、电信、金融、保险、电力、石化系统。3 3、公共安全、医疗、交通领域。、公共安全、医疗、交通领域。4 4、气象、教育、地理、政务等。、气象、教育、地理、政务等。5 5、其他，商业销售、制造业、农业、物流和流通等领域、其他，商业销售、制造业、农业、物流和流通等领域。大数据分类大数据分类按数据来源划分按数据来源划
8、分阿里巴巴目前保存的数目前保存的数据量为据量为近百近百PB拥有拥有90%以上以上的的电商数据电商数据交易数据、用交易数据、用户浏览和点击户浏览和点击网页数据、购网页数据、购物数据物数据2013数据总量接数据总量接近近一千个一千个PB中文网页、百度中文网页、百度推广、百度日志、推广、百度日志、UGC以以70%以上的搜以上的搜索市场份额坐拥索市场份额坐拥庞大的庞大的搜索数据搜索数据腾讯总存储数据量经总存储数据量经压缩处理以后在压缩处理以后在100PB左右左右数据量月增数据量月增10%大量大量社交社交、游戏、游戏等领域积累的文等领域积累的文本、音频、视频本、音频、视频和和关系类数据关系类数据百度大数
9、据分类大数据分类按数据来源划分按数据来源划分BAT为代表的互联网公司电信行业用户上网记录用户上网记录、通话通话、信息信息、地地理位置理位置运营商拥有的数运营商拥有的数据数量都在据数量都在10PB以上以上年度用户数据增年度用户数据增长长约数十约数十PB开户信息数据开户信息数据，银行网点和在线银行网点和在线交易数据、自身交易数据、自身运营的数据运营的数据金融系统每年产金融系统每年产生数据达生数据达数十数十PB保险系统保险系统数据量也接近接近PB级别电力与石化仅国家电网采集仅国家电网采集获得的数据总量获得的数据总量就上就上10个个PB级别级别石油化工、智能石油化工、智能水表等领域每年水表等领域每年产
10、生和保存下来产生和保存下来的数据量也达到的数据量也达到数十数十PB级别。级别。金融与保险大数据分类大数据分类按数据来源划分按数据来源划分电信、金融与保险、电力、石化系统电信、金融与保险、电力、石化系统公共安全北京：北京：50万个万个监控摄像头，监控摄像头，每天采集视频每天采集视频数据量数据量约约3PB整个视频监控整个视频监控每年保存下来每年保存下来的数据的数据在数百在数百PB以上以上仅广州中山大学仅广州中山大学医院医院2013年数据年数据量为量为1000个个TB整个医疗卫生行整个医疗卫生行业一年能够保存业一年能够保存下来的数据就可下来的数据就可达到达到数百数百PB交通航班往返一次能航班往返一次
11、能产生数据就达到产生数据就达到TB级别级别列车、水陆路运列车、水陆路运输产生的各种视输产生的各种视频、文本类数据，频、文本类数据，每年保存下来的每年保存下来的也达到也达到数十数十PB。医疗卫生大数据分类大数据分类按数据来源划分按数据来源划分公共安全、医疗卫生、交通领域公共安全、医疗卫生、交通领域气象与地理中国气象局保存的中国气象局保存的数据约数据约45PB，每，每年约增年约增数百个数百个TB各种地图和地理位各种地图和地理位置信息每年置信息每年约数十约数十PB北京市政务数据资北京市政务数据资源网涵盖旅游、教源网涵盖旅游、教育、交通、医疗等育、交通、医疗等门类，一年上线公门类，一年上线公布了布了余
12、个余个数数据包据包政务数据多为结构政务数据多为结构化数据化数据政务与教育大数据分类大数据分类按数据来源划分按数据来源划分气象、地里、教育、政务等领域气象、地里、教育、政务等领域大数据分类大数据分类按数据来源划分按数据来源划分其他传统行业线下商业销售、农林牧渔业、线下餐饮、食品、科研、物流运输等行业数据量剧增行业数据量还处于积累期，整个体量都不算大，多则达到PB级别，少则百TB甚至数十TB级别。制造业制造业的存储数据类型：产品设计数据：以文件为主，非结构化，共享要求较高，保存时间较长。企业生产环节的业务数据：数据库结构化数据生产监控数据：数据量非常大商业销售、制造业、农业、物流和流通等领域商业销
13、售、制造业、农业、物流和流通等领域大数据分类大数据分类按存储形式划分按存储形式划分 大数据不仅仅体现数据量大，也体现在数据类型多。如此海量的数据中，仅有20%左右属于结构化数据，80%的数据属于广泛存在于社交网络、物联网、电子商务等领域的非结构化或半结构化数据。大数据分类大数据分类按存储形式划分按存储形式划分即行数据，可用二维表结构来逻辑表达实现主要存储在关系型数据库中先有结构再有数据，结构一般不变处理起来较方便结构化数据结构化数据大数据分类大数据分类按存储形式划分按存储形式划分相对于结构化数据而言，不方便用数据库二维逻辑表来表现非纯文本类数据，没有标准格式包括所有格式的办公文档、文本、图片、
14、XML、HTML、各类报表、图像和音频/视频信息存储在非结构数据库中非结构化WEB数据库：突破了关系数据库结构定义不易改变和数据定长的限制非结构化数据非结构化数据大数据分类大数据分类按存储形式划分按存储形式划分介于完全结构化数据和完全无结构的数据之间格式较为规范，一般都是纯文本数据包括日志数据、XML、JSON等格式的数据一般是自描述的，数据的结构和内容混在一起，没有明显的区分数据模型主要为树和图的形式。半结构化数据半结构化数据四、大数据的应用四、大数据的应用大数据在宏观经济管理领域的应用大数据在宏观经济管理领域的应用大数据在农业领域的应用大数据在农业领域的应用大数据在商业领域的应用大数据在商
15、业领域的应用大数据在金融业的应用大数据在金融业的应用大数据在医疗卫生领域的应用大数据在医疗卫生领域的应用大数据在社会管理中的应用大数据在社会管理中的应用大数据在宏观经济管理领域的应用IBM日本公司建立了一个经济指标预测系统，它从互联网新闻中搜索出影响制造业的480项经济数据，再计算出PMI预测值，准确度相当高。印第安纳大学学者利用Google提供的心情分析工具，根据用户近千万条短信、微博留言中预测道琼斯工业指数。准确率高达87%。淘宝网建立了“淘宝CPI”，它通过采集、编制淘宝网上390个类目的热门商品价格来统计CPI，它比国家统计局公布的CPI还提前半个月预测经济的走势。大数据在农业领域的应
16、用Google前雇员创办Climate公司，从美国气象局等数据库中获得几十年的天气数据，将各地的降雨、气温和土壤状况及历年农作物产量做成精密图表，从而能够预测美国任一农场下一年的产量。任何一个农场主去他那里问明年种什么能卖出去、能赚钱，他能告诉你，说错了他保证赔偿，赔偿比保险公司还要高，到现在为止他还没有赔过。通过手机上农产品“移动支付”数据、“采购投入”数据和“补贴“数据分析，可准确预测农产品生产趋势，政府可依此决定出台激励措施和确定合适的作物存储量，还可为农民提供服务。大数据在商业领域的应用沃尔玛基于每个月4500万的网络购物数据，并结合社交网络上有关产品的大众评分，开发机器学习语义搜索引
17、擎“北极星“，方便浏览，在线购物者因此增加10%-15%，增加销售十多亿美元。当顾客在超市买东西时，通过手机定位，可以分析他们在货柜前停留时间的长短，从而判断顾客对什么感兴趣。不仅仅是通过手机定位，实际上美国有的超市在购物推车上也安装了位置传感器，根据顾客在不同货物前停留时间的长短来分析顾客可能的购物行为。在淘宝网上买东西时，消费者会在阿里的广告交易平台上留下记录，阿里不仅从交易平台把消费记录拿来自己使用，还会把消费记录卖给其他商家。大数据在金融业的应用华尔街某公司通过分析全球3.4亿微博账户留言来判断民众情绪，人们高兴的时候会买股票，而焦虑的时候会抛售股票，它通过判断全世界高兴的人多还是焦虑
18、的人多，依此决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和诚信经营的企业，给他们提供贷款，并且不需要这些中小企业的担保。目前阿里公司已放贷上千亿元，坏帐率仅0.3%。2012年年底，四大商业银行的坏账率为1%左右，尽管四大银行要求有担保，但坏账率仍然比阿里高出3倍。大数据在医疗卫生领域的应用Google通过用户搜索与流感相关词汇的频率，判断某个地方可能会发生流感。2009年在甲型H1N1流感爆发的几周前，Google就做出预测，而且还判断出了流感是从哪里来的。大数据在医疗卫生领域的应用根据麦肯锡的报告，医疗大数据的分析将为美国产生3000亿美元的价值，减少8
19、%的国家医疗保健支出。大数据在社会管理中的应用广东东莞通过统计当地食盐销售量与上年同期比较，判断农民工数量的变化。这与电信运营商根据活跃移动用户数的变化所推出的数据几乎相当。根据手机用户从这个路口到那个路口所花费的时间，可以判断马路上是不是流量比较多，是否拥堵。根据有多少个手机在同时移动，大致可以了解发生突发事件时的人流聚集情况，还可以通过手机的注册地进一步分析机主究竟是从哪里来的。腾讯为每个微博用户建立了档案，可以从微博帖子分析用户的性格，提前关注可能引起社会不稳定的因素。五、五、大数据带来了什么？大数据带来了什么？ 大数据既催生出无数新的服务和商业模式，也让一些传统行业找到了新的机会，同时
20、产生了对“数据科学家”这种新兴复合型人才的迫切需求。但是，数据运用和隐私保护之间到底应该如何权衡，也成了一个令各方势力争论不休的话题。 所所以以，对对于于大大数数据据带带来来的的影影响响，必必须须从从积积极极影影响响和和消消极影响极影响两个层面来分析。两个层面来分析。积极影响积极影响首先，大数据有利于推动中国新四化转型。首先，大数据有利于推动中国新四化转型。新四化是指新型工业化、信息化、城镇化和农业现代化。大数据将会改变人类生活生产方式，可以为新四化提供转变发展方式的新动力。1.大数据可以强力启动内需；2.大数据可以推动城镇化以智慧城市的新方式发展；3.大数据有利于改进政府管理方式；4.大数据
21、产业将会形成新的增长点。其次，大数据将对微观经济产生重大影响。其次，大数据将对微观经济产生重大影响。IBM的CEO罗睿兰说：“数据将是下一个大的自然资源，将会区分每个行业的胜者与输家。”IBM的全球调查显示：表现优秀的企业使用分析技术的数量比表现较差的企业高五倍。1.未来以政府、电信、教育、医疗、金融、石油石化和电力等行业为重点的大数据应用，将直接拉动整个社会的应用规模；2.数据业务将成为各行各业的主营业务，围绕大数据，企业将向分析级服务升级转型，从而改变各行各业的业态；3.广义的分析级服务得到大发展，包含一切以大数据为基础的高附加值的创新型服务。 再次，大数据的发展有利于促进新兴职业的发展。
22、再次，大数据的发展有利于促进新兴职业的发展。 在大数据浪潮的冲击下，一门新兴职业即“数据分析师”（数据科学家）正在以势不可挡的气势涌现。大数据使劳动力市场迅速出现了变化，数据分析师成为炙手可热的行业。 麦肯锡全球研究所进行过一次调查，根据调查预计，美国需要14万名至19万名以上具备深度分析专长的人员。而对具备数据知识的经理的需求量超过150万名。 一个在业界不可言喻的现象出现了，数据分析师已经能够成为最为抢手的热门职业。 消极影响消极影响 关关于于大大数数据据所所带带来来的的消消极极影影响响主主要要表表现现为为大大数数据据运运用用和和隐隐私私保保护护之之间间的的矛矛盾盾。要要在在业业务务中中对
23、对大大数数据据进进行行运运用用，就不可避免的会遇到隐私问题。就不可避免的会遇到隐私问题。 首先，对web上的用户个人信息、行为记录等进行收集，在未经用户许可的情况下将数据转让给广告商等第三方，这种行为严重侵犯了用户的个人隐私权，而且会对其造成一定程度的危害； 其次，网页上的行为记录，如浏览记录和购买记录等，如果进行了相当数量的积累，则有可能据此推断出个人的兴趣、爱好、思想倾向等。而对于用户来说，他们很不希望这些信息被别人知道，所以在心理上会感觉到自己的隐私受到了侵犯。 在今天，关于隐私隐私是一个很大的问题，而且以后这个问题还会越来越严重，会被人们高度关注。所以，对于企业来说，不仅要遵守正式法律
24、的限制，而且不能逾越顾客所能接受的最低底线。必须时刻把用户的地位放在首位，尽可能的多为顾客提供便利，尽最大努力赢得用户的理解和支持。六、六、大数据面临的挑战和趋势大数据面临的挑战和趋势 从大数据带来的影响可知，大数据浪潮既是一种机遇也是一种挑战，必须权衡利弊。 趋势趋势 随着大数据浪潮的加速到来，将出现产业链的整体繁荣。如何在大数据浪潮的洗礼中确保技术架构、人才、政府和企业战略以及商业模式能够“逐浪潮头”，将更需要积极主动的选择合适的技术、方法论、解决方案和发展策略等。 环顾整个市场，我们在某些领域已经取得了突破性进展，但是，仍然面临着大量挑战。 例如：研发分析各种多元结构化数据的高效技术，提
25、高大数据分析的易用性易用性，让大数据分析技术实现“开箱即用”，使得数据分析成为政府和企业建立核心竞争力的关键途径。 另外，具备高端数据分析技能，能够从堆积如山的大量数据中找到金矿，并能够将数据的价值以易懂的方式传达给决策者，最终得以在业务上实现的人才即数据科学家数据科学家是千金难求的。挑战挑战七、大数据时代的统计七、大数据时代的统计大数据时代就不需要统计了吗？大数据时代就不需要统计了吗？ 有人认为大数据时代，数据的来源更加直有人认为大数据时代，数据的来源更加直接、多元，并且数据的接、多元，并且数据的“样本样本= =总体总体”，想要，想要的结论直接就能看出来，已经不需要统计了。的结论直接就能看出
26、来，已经不需要统计了。 这种认知，显然是错误的这种认知，显然是错误的 首先，并不是所有的数据都可以直接在网络首先，并不是所有的数据都可以直接在网络上得到的，很多数据需要统计部门组织专业的调上得到的，很多数据需要统计部门组织专业的调查才能得到，比如，农业生产方面的数据、人口查才能得到，比如，农业生产方面的数据、人口分布等等。分布等等。 其次，大数据告知信息，但不解释数据，即其次，大数据告知信息，但不解释数据，即使把大数据的信息公布出来，大部分民众依然不使把大数据的信息公布出来，大部分民众依然不知道数据要表达的信息。知道数据要表达的信息。统计依然是数据分析的统计依然是数据分析的灵魂。灵魂。 大数据
27、时代的到来，给统计带来机遇，也带大数据时代的到来，给统计带来机遇，也带来了挑战。来了挑战。 2014 2014年年1 1月，国家统计局网上转载了月，国家统计局网上转载了“中国中国统计统计, , 向大数据时代向大数据时代迈进！迈进！”（ http:/ 那么，大数据时代到底给统计带来了那些冲那么，大数据时代到底给统计带来了那些冲击和挑战？击和挑战？1.1.大数据对统计的冲击大数据对统计的冲击对统计理念的冲击对统计理念的冲击对统计生产流程的冲击对统计生产流程的冲击对政府统计职能的冲击对政府统计职能的冲击对统计理念的冲击对统计理念的冲击1.1.大数据改变了数据的需求层次大数据改变了数据的需求层次 过去
28、，由于人类的认知能力有限，获取大范围数过去，由于人类的认知能力有限，获取大范围数据比较困难，传统的统计是通过观察一小部分样本来据比较困难，传统的统计是通过观察一小部分样本来推测总体，但是推测的数据反映的是总体趋势，往往推测总体，但是推测的数据反映的是总体趋势，往往无法应用到个体。大数据时代的来临，使人类可以有无法应用到个体。大数据时代的来临，使人类可以有机会和条件在非常多的领域和非常深入的层次获得全机会和条件在非常多的领域和非常深入的层次获得全面数据，在此基础上形成的的数据可以更加偏向个体面数据，在此基础上形成的的数据可以更加偏向个体情况，更加符合个体的感知，满足个性化需求。情况，更加符合个体
29、的感知，满足个性化需求。对统计理念的冲击对统计理念的冲击2.2.大数据改变了统计实证的研究范式大数据改变了统计实证的研究范式 传统的统计遵循自上而下的实证研究范式，即先传统的统计遵循自上而下的实证研究范式，即先从经济理论或社会经验出发，根据理论设定指标，再从经济理论或社会经验出发，根据理论设定指标，再去利用统计数据进行实证分析。然而大数据采用的是去利用统计数据进行实证分析。然而大数据采用的是自下而上的数据挖掘范式，以数据为先导从大量的实自下而上的数据挖掘范式，以数据为先导从大量的实际数据中挖掘数据之间的关系并建立模型，乃至形成际数据中挖掘数据之间的关系并建立模型，乃至形成理论和新的认知。这种研
30、究范式是对传统统计研究范理论和新的认知。这种研究范式是对传统统计研究范式的一种颠覆。式的一种颠覆。对统计生产流程的冲击对统计生产流程的冲击制度设计的多样化制度设计的多样化 传统的统计设计是根据统计研究的目的和研究对传统的统计设计是根据统计研究的目的和研究对象的特点，设定统计指标、统计报表以及调查、汇总象的特点，设定统计指标、统计报表以及调查、汇总方法等制度，通过调查、访问将生产行为转化为可量方法等制度，通过调查、访问将生产行为转化为可量化的数据。化的数据。 大数据下的制度，面对的是大数据下的制度，面对的是已存在已存在的或者通过一的或者通过一定手段可以获取的大量数据，需要解决的问题是怎么定手段可
31、以获取的大量数据，需要解决的问题是怎么用这些数据。用这些数据。对统计生产流程的冲击对统计生产流程的冲击数据采集智能化数据采集智能化 传统的统计是通过结构化的报表和统一的计量方传统的统计是通过结构化的报表和统一的计量方式将调查对象的行为转化为可用的数据，需要被调查式将调查对象的行为转化为可用的数据，需要被调查者的参与，一旦调查对象不配合，或者采用虚报、瞒者的参与，一旦调查对象不配合，或者采用虚报、瞒报、乱报的方式消极配合，报、乱报的方式消极配合，统计数据的质量难以控制统计数据的质量难以控制，并且矫正这些并且矫正这些调查误差的成本很高调查误差的成本很高。 大数据时代，互联网、物联网、云计算等技术讲
32、大数据时代，互联网、物联网、云计算等技术讲大大提高数据采集的智能化水平，数据来源于信息技大大提高数据采集的智能化水平，数据来源于信息技术记录下的原始数据，想要术记录下的原始数据，想要篡改篡改这些数据非常这些数据非常困难困难，数据的质量数据的质量将会大大提将会大大提高高。对统计生产流程的冲击对统计生产流程的冲击数据分析专业化数据分析专业化 传统的统计分析是根据统计制度设计的要求以及传统的统计分析是根据统计制度设计的要求以及研究对象的认知，研究对象的认知，对采集上来的结构化统计数据对采集上来的结构化统计数据进行进行计算分析，重点描述过去的这段时间发生的变化，对计算分析，重点描述过去的这段时间发生的
33、变化，对未来的发展情况进行统计意义上的预测。未来的发展情况进行统计意义上的预测。 大数据背景下的数据分析，面对的大量的大数据背景下的数据分析，面对的大量的已存在已存在于计算机、网络中的海量数据，所要做的是分析挖掘于计算机、网络中的海量数据，所要做的是分析挖掘数据之间的内在关系，寻找更多数据之间的内在关系，寻找更多有价值的有价值的信息，在这信息，在这种背景下，需要专业化的数据挖掘与处理技术种背景下，需要专业化的数据挖掘与处理技术对统计生产流程的冲击对统计生产流程的冲击数据发布透明化数据发布透明化 大数据时代，由于数据的大量存储和共享，统计大数据时代，由于数据的大量存储和共享，统计数据发布的公开数
34、据发布的公开透明程度透明程度将会将会极高极高，没有，没有公开详细公开详细、公允计算方法的数据将会被其他数据替代。在发布结公允计算方法的数据将会被其他数据替代。在发布结果上，仅仅告诉个别人结果，是远远不够的，还需要果上，仅仅告诉个别人结果，是远远不够的，还需要通过通过可视化可视化、交互交互等方式给予用户更加等方式给予用户更加方便、高效方便、高效的的使用方式，提供更为详尽的信息。使用方式，提供更为详尽的信息。对政府统计职能的冲击对政府统计职能的冲击 大数据时代，各种数据大数据时代，各种数据信息网络平台全面覆盖信息网络平台全面覆盖，每个社会单位每个社会单位都是数据的都是数据的生产者和提供者生产者和提
35、供者，数据存储，数据存储于信息平台的所有者手中，于信息平台的所有者手中，政府统计机构不再是数据政府统计机构不再是数据的绝对拥有者的绝对拥有者，也不再是数据的唯一发布者和解释人。，也不再是数据的唯一发布者和解释人。如果政府统计机构继续在静态的框架下封闭运行，就如果政府统计机构继续在静态的框架下封闭运行，就无法反映经济社会发展的变化情况，无法实现统计信无法反映经济社会发展的变化情况，无法实现统计信息、统计咨询和实行统计监督功能，势必被边缘化息、统计咨询和实行统计监督功能，势必被边缘化2.2.大数据时代政府统计的发展趋势大数据时代政府统计的发展趋势 大数据时代，政府统计应该成为社会经济发展的大数据时
36、代，政府统计应该成为社会经济发展的权威、全面数据的主要提供者，是政府掌握的有关社权威、全面数据的主要提供者，是政府掌握的有关社会管理和运行的行政记录信息标准规范制定者和数据会管理和运行的行政记录信息标准规范制定者和数据结果发布者。政府统计应整合多方行政记录信息，结结果发布者。政府统计应整合多方行政记录信息，结合自身采集数据补充，构建权威的社会经济数据在线合自身采集数据补充，构建权威的社会经济数据在线平台。作为数据整合发布的平台。作为数据整合发布的维护部门维护部门。 3.3.借力大数据加速政府统计改改借力大数据加速政府统计改改 为了转变政府统计的角色，需要全面改进当前的为了转变政府统计的角色，需
37、要全面改进当前的政府统计在获取、整理和分析客观事物总体数量方面政府统计在获取、整理和分析客观事物总体数量方面的资料的工作过程，重塑统计基础、强化技术支承、的资料的工作过程，重塑统计基础、强化技术支承、推动应用社会化，全面提升统计能力。推动应用社会化，全面提升统计能力。多渠道智能获取数据多渠道智能获取数据构建真正的大数据平台构建真正的大数据平台体现数据价值体现数据价值多渠道智能获取数据多渠道智能获取数据 统计工作必须适应大数据时代的变化和要求，通过有效统计工作必须适应大数据时代的变化和要求，通过有效利用客观存在的海量数据，能够有效降低统计调查的成本，利用客观存在的海量数据，能够有效降低统计调查的
38、成本，减轻被调查者的负担，缓解被调查者配合程度降低的矛盾，减轻被调查者的负担，缓解被调查者配合程度降低的矛盾，能够提高统计数据的即时性，缩短统计数据生成周期。能够提高统计数据的即时性，缩短统计数据生成周期。 大数据时代的自动智能数据采集蒋时代数据生成主要依大数据时代的自动智能数据采集蒋时代数据生成主要依赖于及其的客观测量，如赖于及其的客观测量，如GPSGPS定位测量、收银管理系统、定位测量、收银管理系统、ETCETC电子收费系统等等。当前政府统计法制建设的全国联网直报电子收费系统等等。当前政府统计法制建设的全国联网直报系统很大成都上规范了统计人员的工作方式，但是其中人的系统很大成都上规范了统计
39、人员的工作方式，但是其中人的参与程度仍然很高。参与程度仍然很高。 大数据时代，政府统计采集数据，一是要压缩调查规模，大数据时代，政府统计采集数据，一是要压缩调查规模，采集数据有针对性；二是技术手段要多样化、智能化，降低采集数据有针对性；二是技术手段要多样化、智能化，降低人的参与因素和干扰可能；三是应用行政记录与统计上要有人的参与因素和干扰可能；三是应用行政记录与统计上要有所突破所突破，进一步开发，进一步开发应用现有的行政资源。应用现有的行政资源。构建真正的大数据平台构建真正的大数据平台 目前我们发布的数据主要是为了满足党政领导的目前我们发布的数据主要是为了满足党政领导的需求为主，以社会需求为辅
40、。这种模式对统计而言是需求为主，以社会需求为辅。这种模式对统计而言是有局限性的，容易自我封闭。有局限性的，容易自我封闭。 大数据时代，政府统计应建设容量足够大的大数据时代，政府统计应建设容量足够大的ITIT基基础设施，容纳所有采集到的数据信息，将历史和现有础设施，容纳所有采集到的数据信息，将历史和现有原始数据文件整理归集到系统中，构建成在线公开的原始数据文件整理归集到系统中，构建成在线公开的官方统计数据平台。未来政府统计部门将公平公开地官方统计数据平台。未来政府统计部门将公平公开地开放数据，所有单位个人都将能从统计机构的网站平开放数据，所有单位个人都将能从统计机构的网站平台获取到需要的、标准统
41、一的、格式开放的数据。台获取到需要的、标准统一的、格式开放的数据。体现数据的价值体现数据的价值 数据只有被人们使用，才会变成有价值的信息，数据只有被人们使用，才会变成有价值的信息，统计成果需要新的返现方式和形式。统计成果需要新的返现方式和形式。 除了公布原始基础数据，政府统计数据平台应该除了公布原始基础数据，政府统计数据平台应该具备权威客观、公开透明的基本经济算法、口径和初具备权威客观、公开透明的基本经济算法、口径和初步结果，这些成果应该通过标准的官方经济核算应用步结果，这些成果应该通过标准的官方经济核算应用以及信息产品的形式对外提供。以及信息产品的形式对外提供。 政府统计应该利用专业的技术力
42、量和成果，提高政府统计应该利用专业的技术力量和成果，提高数据挖掘分析能力，对巨量原始数据进行专业化处理，数据挖掘分析能力，对巨量原始数据进行专业化处理，将非标准化数据转化为标准化统计数据，从而打好对将非标准化数据转化为标准化统计数据，从而打好对数据进行数据进行“增值增值”的基础。的基础。谢谢（第14讲）考场作文开拓文路能力分解层次(网友来稿)江苏省镇江中学 陈乃香说明：本系列稿共24讲，20XX年1月6日开始在资源上连载【要义解说】文章主旨确立以后，就应该恰当地分解层次，使几个层次构成一个有机的整体，形成一篇完整的文章。如何分解层次主要取决于表现主旨的需要。【策略解读】一般说来，记人叙事的文章
43、常按时间顺序分解层次，写景状物的文章常按时间顺序、空间顺序分解层次；说明文根据说明对象的特点，可按时间顺序、空间顺序或逻辑顺序分解层次；议论文主要根据“提出问题分析问题解决问题”顺序来分解层次。当然，分解层次不是一层不变的固定模式，而应该富于变化。文章的层次，也常常有些外在的形式：1小标题式。即围绕话题把一篇文章划分为几个相对独立的部分，再给它们加上一个简洁、恰当的小标题。如世界改变了模样四个小标题：寿命变“长”了、世界变“小”了、劳动变“轻”了、文明变“绿”了。 2序号式。序号式作文与小标题作文有相同的特点。序号可以是“一、二、三”，可以是“A、B、C”，也可以是“甲、乙、丙”从全文看，序号
44、式干净、明快；但从题目上看，却看不出文章内容，只是标明了层次与部分。有时序号式作文，也适用于叙述性文章，为故事情节的展开，提供了明晰的层次。 3总分式。如高考佳作人生也是一张答卷。开头：“人生就是一张答卷。它上面有选择题、填空题、判断题和问答题，但它又不同于一般的答卷。一般的答卷用手来书写，人生的答卷却要用行动来书写。”主体部分每段首句分别为：选择题是对人生进行正确的取舍，填空题是充实自己的人生，判断题是表明自己的人生态度，问答题是考验自己解决问题的能力。这份“试卷”设计得合理而且实在，每个人的人生都是不同的，这就意味着这份人生试卷的“答案是丰富多彩的”。分解层次，应追求作文美学的三个价值取向
45、：一要匀称美。什么材料在前，什么材料在后，要合理安排；什么材料详写，什么材料略写，要通盘考虑。自然段是构成文章的基本单位，恰当划分自然段，自然就成为分解层次的基本要求。该分段处就分段，不要老是开头、正文、结尾“三段式”，这种老套的层次显得呆板。二要波澜美。文章内容应该有张有弛，有起有伏，如波如澜。只有这样才能使文章起伏错落，一波三折，吸引读者。三要圆合美。文章的开头与结尾要遥相照应，把开头描写的事物或提出的问题，在结尾处用各种方式加以深化或回答，给人首尾圆合的感觉。【例文解剖】 话题：忙忙，不亦乐乎 忙，是人生中一个个步骤，每个人所忙的事务不同，但是不能是碌碌无为地白忙，要忙就忙得精彩，忙得不
46、亦乐乎。 忙是问号。忙看似简单，但其中却大有学问。忙是人生中不可缺少的一部分，但是怎么才能忙出精彩，忙得不亦乐乎，却并不简单。人生如同一张地图，我们一直在自己的地图上行走，时不时我们眼前就出现一个十字路口，我们该向哪儿，面对那纵轴横轴相交的十字路口，我们该怎样选择?不急，静下心来分析一下，选择适合自己的坐标轴才是最重要的。忙就是如此，选择自己该忙的才能忙得有意义。忙是问号，这个问号一直提醒我们要忙得有意义，忙得不亦乐乎。 忙是省略号。四季在有规律地进行着冷暖交替，大自然就一直按照这样的规律不停地忙，人们亦如此。为自己找一个目标，为目标而不停地忙，让这种忙一直忙下去。当目标已达成，那么再找一个目
47、标，继续这样忙，就像省略号一样，毫无休止地忙下去，翻开历史的长卷，我们看到牛顿在忙着他的实验；爱迪生在忙着思考；徐霞客在忙着记载游玩；李时珍在忙着编写本草纲目。再看那位以笔为刀枪的充满着朝气与力量的文学泰斗鲁迅，他正忙着用他独有的刀和枪在不停地奋斗。忙是省略号，确定了一个目标那么就一直忙下去吧!这样的忙一定会忙出生命灵动的色彩。 忙是惊叹号。世界上的人都在忙着自己的事，大自然亦如此，小蜜蜂在忙，以蜂蜜为回报。那么人呢?居里夫人的忙，以放射性元素的发现而得到了圆满的休止符；爱因斯坦在忙，以相对论的问世而画上了惊叹号；李白的忙，以那豪放的诗歌而有了很大的成功；张衡的忙，因为那地动仪的问世而让世人仰
48、慕。每个人都应该有效率的忙，而不是整天碌碌无为地白忙。人生是有限的、短暂的，因此，每个人都应该在有限的生命里忙出属于他的惊叹号；都应在有限的生命里忙出他的人生精彩篇章。 忙是万物、世界、人生中都不可缺少的一部分。作为这世上最高级动物的我们，我们在忙什么呢?我们要忙得有意义，有价值，我们要忙出属于我们的精彩。我们的忙不能永远是问号，而应是省略号和感叹号。忙就要忙得精彩，忙得不亦乐乎。 解剖：本文将生活中的一句口头禅“忙得不亦乐乎”机智翻新，拟作标题，亮出一道美丽的风景。并据此展开述说，让人神清气爽。文章开篇扣题，亮出观点：忙，是人生中一个个步骤，不能碌碌无为地白忙，要忙就忙得精彩，忙得不亦乐乎。
49、然后，作者分别用问号、省略号、惊叹号巧妙设喻，抓住这三种标点符号的特征，摆实事，讲道理，入情入理，入理入心。深刻地阐明人生忙，忙要像问号一样，经常问问自己，不能盲目，不能瞎忙，要忙得有意义；人生如四季一样是有规律的，要选准目标，像省略号一样，毫无休止地忙下去，忙出生命灵动的色彩；而人生有限，每个人都应有限的生命里忙出属于他的惊叹号，忙出人生精彩的篇章。结尾，作者用一个段落总结全文，照应开头，照应题目，有力收束。【精题解析】阅读下面的材料，根据要求作文。在一处地势十分险恶的峡谷，谷底奔腾着咆哮的急流，峡谷间有一座索桥，几根光秃秃、晃悠悠的铁索横在峡谷间，它是通过这个地方的唯一路径，这里经常有人因
50、为失足而跌入深谷。有一天，有三个人来到了这里。一个聋子，一个瞎子，还有一个健康的人。聋子看看这座桥，很害怕，但是他听不到急流的声音，他用眼睛看着脚下步伐，很顺利地过去了。瞎子不知峡谷的险恶，他心平气和，十分稳妥地通过了。第三个人是健康人，一直犹豫不敢走这索桥，可是又没有其他路可走。于是，他十分紧张地硬着头皮走上索桥，到了桥中央，他看到脚下万丈深渊，云雾升腾，听到谷底急流咆哮，早已两腿颤颤，面如土色，一不小心跌下桥去。请就“不要把困难看得太明白”为话题写一篇文章。注意所写内容必须在话题范围之内。试题引用的材料，考生在文章中可用也可不用。立意自定。文体自选。题目自拟。不少于800字。不得抄袭。解析：有时候，把困难看得太明白，分析得太透彻，反而会被困难吓倒以至于阻拦我们前进的脚步。倒是那些未把困难完全看清楚而勇往直前的人，更容易达到终点。 作者邮箱： 13952865227谢谢观赏谢谢观赏
