《大数据技术进展与发展趋势》由会员分享，可在线阅读，更多相关《大数据技术进展与发展趋势（19页珍藏版）》请在金锄头文库上搜索。
1、大数据技术进展与发展趋势 程学旗 靳小龙 杨婧 徐君 中国科学院计算技术研究所,中国科学院网络数据科学与技术重点实验室 摘 要： 随着 IT 技术的高速发展,世界范围内各行各业都在进行信息化变革,几乎每个行业都在努力发现和利用大数据的价值。为了充分利用大数据带来的机遇,同时有效应对大数据带来的挑战,国内外产业界、科学界和政府部门都在积极布局、制定战略规划。本文介绍大数据背景与动态,描述各国大数据政策实践及中国大数据发展的政策环境和产业界生态发展状况;阐述大数据技术的进展,梳理其生态体系和创新特点;提出大数据可视化、多学科融合、安全与隐私、深度分析等发展趋势和相关建议。关键词： 大数据技术; 信
2、息技术; 大数据生态体系; 作者简介：程学旗,研究员,研究方向为网络科学与社会计算、互联网搜索与挖掘、网络信息安全等,电子信箱:;作者简介：杨婧,博士,研究方向为最优化查询、数据挖掘等,电子信箱:收稿日期：2016-05-30基金：国家重点基础研究发展计划(973 计划)项目(2013CB329602,2014CB340401)Technological progress and trends of big dataCHENG Xueqi JIN Xiaolong YANG Jing XU Jun CAS Key Laboratory of Network Data Science & Tec
3、hnology, Institute of Computing Technology, Chinese Academy of Sciences; Abstract： With the rapid development of IT technology, worldwide businesses are experiencing informatization changes, and almost every industry is trying to exploit and utilize the value of big data. In order to take full advan
4、tage of the opportunity while effectively dealing with the challenges brought by big data, academia, industry and government actively promote the layout adjustment and establish the holistic strategic plan. This paper first introduces the background and dynamics of big data, and expounds the nationa
5、l policy environment and industry development status. Then it describes the technical progress on big data, with a comprehensive overview about the technology architecture and innovative features. Finally, the development trend is forecasted and some suggestions relating to big data visualization,mu
6、ltidisciplinary integration, security and privacy, depth analysis etc. are proposed.Keyword： big data technology; information technology; big data ecosystem; Received： 2016-05-30信息科技经过 60 余年的发展,已经渗透到国家治理、经济运行的方方面面,政治、经济中很大一部分的活动都与数据的创造、采集、传输和使用相关。随着网络应用日益深化,大数据应用的影响日益扩大。根据 IDC(国际数据公司)的监测统计,2011 年全球数
7、据总量已经达到 1.8 ZB,而这个数值还在以每 2 年翻一番的速度增长,预计到 2020 年,全球将总共拥有 35 ZB 的数据量,比 2011 年增长了近20 倍。换句话说,近 2 年产生的数据总量相当于人类有史以来所有数据量的总和1,2 。在这个大背景下,从公司战略到产业生态,从学术研究到生产实践,从城镇管理乃至国家治理,都将发生本质的变化。国家竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用数据的能力。大数据时代的 2 个特点非常有利于中国信息产业跨越式发展3 。第一,大数据技术以开源为主,迄今为止,尚未形成绝对技术垄断,即便是 IBM、甲骨文等行业巨擘,也同样是集成了开源技术
8、和该公司已有产品而已。开源技术对任何一个国家都是开放的,中国公司同样可以分享开源的蛋糕,但是需要以更加开放的心态、更加开明的思想正确地对待开源社区。第二,中国的人口和经济规模决定了中国的数据资产规模冠于全球。这在客观上为大数据技术的发展提供了演练场,也亟待政府、学术界、产业界、资本市场四方通力合作,在确保国家数据安全的前提下,最大程度地开放数据资产,促进数据关联应用,释放大数据的巨大价值。大数据超越信息技术,使人们重新界定国家竞争的主战场,重新审视政府治理水平,重新认识科学研究的新范式,重新审视产业变迁的驱动因素,重新理解投资的决策依据,重新思考公司的战略和组织结构。1 国内外大数据发展动态1
9、.1 国际大数据战略决策纵观世界各国的大数据策略,存在 3 个共同点:一是推动大数据全产业链的应用;二是数据开放与信息安全并重;三是政府与社会力量共同推动大数据应用4 。本文以美国、英国、日本、德国 4 个国家为例具体说明。1)美国。2009 年,美国政府推出公共服务平台(data.gov),全面开放了 40 万联邦政府原始数据和地理数据。2012 年 3 月,美国白宫科技政策办公室发布大数据研究和发展计划,成立“大数据高级指导小组”。通过对海量数据分析萃取信息,提升对社会经济发展的预测能力。美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局 6 个联邦部门和机构
10、宣布投资 2 亿美元,共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术的先进性,并形成合力;加强对信息技术研发投入以推动超级计算和互联网的发展。2013 年,美国发布政府信息公开和机器可读行政命令,要求公开教育、健康等七大关键领域数据,并对各政府机构数据开放时间提出了明确要求。2013 年 11 月,美国信息技术与创新基金会发布支持数据驱动型创新的技术与政策指出,政府不仅要大力培养所需技能劳动力和推动数据相关技术研发,还要制定推动数据共享的法律框架,并提高公众对数据共享重大意义的认识。2014年 5 月,美国发布大数据:把握机遇,守护价值白皮书,对美国大数据应用与管理的现状,政策
11、框架和改进建议进行集中阐述。2016 年 4 月,麻省理工学院推出了“数据美国”在线大数据可视化工具,可以实时分析展示美国政府公开数据库(Open Data)。2)英国。2011 年 11 月,英国政府发布了对公开数据进行研究的战略决策,建立了有“英国数据银行”之称的 data.gov.uk 网站,希望通过完全公布政府数据,进一步支持和开发大数据技术在科技、商业、农业等领域的发展。2012 年 5 月,英国政府注资 10 万英镑,支持建立了世界上首个开放数据研究所 ODI(Open Data Institute)。ODI 研究所将为那些对公众有益的商业企业活动提供数据背景支持,不但释放了新的商
12、业潜力,还推动了经济发展以及个人收入增长的新形式。2013 年 5 月,英国政府和李嘉诚基金会联合投资 9000 万英镑,在牛津大学成立全球首个综合运用大数据技术的医药卫生科研中心。中心将通过搜集、存储和分析大量生物医疗数据,与业界共同界定新药物研发方向,处理新药研发过程中的瓶颈,并为发现新的治疗手段提供线索。2013 年 8 月,英国政府发布英国农业技术战略。该战略指出,英国今后对农业技术的投资将集中在大数据上,目标是将英国的农业科技商业化。2014 年,英国政府投入 7300 万英镑进行大数据技术的开发,包括在 55 个政府数据分析项目中展开大数据技术的应用;以高等学府为依托投资兴办大数据
13、研究中心,如图灵大数据研究院。2015 年,英国政府承诺将开放有关交通运输、天气和健康方面的核心公共数据库。3)日本。2012 年 6 月,日本 IT 战略本部发布电子政务开放数据战略草案,迈出了政府数据公开的关键一步。2012 年 7 月,日本总务省 ICT 基本战略委员会发布了面向 2020 年的 ICT 综合战略,提出“活跃在 ICT 领域的日本”的目标,将重点关注大数据应用所需的社会化媒体等智能技术开发、传统产业 IT 创新、新医疗技术开发、缓解交通拥堵等公共领域应用等。2013 年 6 月,日本正式公布新 IT 战略-创建最尖端 IT 国家宣言。全面阐述 20132020 年期间以发
14、展开放公共数据和大数据为核心的日本新 IT 国家战略,提出要把日本建设成为具有世界最高水准的广泛运用信息产业技术的社会。为此,日本政府推出数据分类网站(data.go.jp),目的是提供不同政府部门和机构的数据供使用,向数据提供者和数据使用者开放数据。数据涉及各类白皮书、地理空间信息、人群运动信息、预算、年终财务和流程数据等。2013 年 7 月,日本三菱综合研究所牵头成立了“开放数据流通推进联盟”,旨在由产官学联合,促进日本公共数据的开放应用。2014 年 8 月,日本内阁府决定在每月公布的月度经济报告中采用互联网上累积的“大数据”作为新的经济判断指标。内阁府将根据网络用户对产品和服务的搜索
15、情况和推特网站上所发帖子来分析实时消费动向。日本防卫省也将从 2015年开始正式研讨将“大数据”运用于海外局势的分析。这一举措作为自卫队海外活动扩大背景下的新方案,旨在强化情报收集能力。4)德国。2010 年,德国制定“数字德国 2015 的 ICT 战略”,在能源、交通、保健、教育、休闲、旅游和管理等传统行业采用现代 ICT 技术实现智能网络化。2013 年 4 月,德国政府提出了“工业 4.0”的概念。该项目德国联邦政府投入 2亿欧元,由德国联邦教研部与联邦经济技术部联手资助,在德国工程院、弗劳恩霍夫协会、西门子公司等德国学术界和产业界的建议和推动下形成,并已上升为国家级战略。德国 IT
16、行业协会 BITKOM 于 2014 年初发表报告称,大数据业务在德国发展迅速,到 2016 年有望达到 136 亿欧元。2014 年 8 月 20 日,德国联邦政府内阁通过了由德国联邦经济和能源部、内政部、交通与数字基础设施建设部联合推出的20142017 年数字议程,提出在变革中推动“网络普及”“网络安全”“数字经济发展”3 个重要进程,希望以此打造具有国际竞争力的“数字强国”。由此可见,大数据超越信息技术、使人们重新界定国家竞争的主战场,重新审视政府治理水平,重新认识科学研究的新范式,重新审视产业变迁的驱动因素,重新理解投资的决策依据,重新思考公司的战略和组织结构。1.2 国际大数据产业变革2013 年 6 月,美国中央情报局前雇员斯诺登揭开了“数据战争”的冰山一角。美国的“棱镜计划”事实上把所有国家、个人都纳在美国国家安全局(NSA)的监控之下。参与棱镜计划的公司包括谷歌、雅虎、Facebook、微软、苹果、思科、Oracle、IBM 等科技巨
