《大数据时代对社会的影响与挑战.doc》由会员分享，可在线阅读，更多相关《大数据时代对社会的影响与挑战.doc（10页珍藏版）》请在金锄头文库上搜索。
1、大数据时代面临机遇和挑战。一、“大数据”概念的界定（一）“大数据”概念的提出与发展2008年9月4日，自然（Nature）刊登了一个名为“Big Data”的专辑，首次提出大数据（Big Data）概念，该专辑对如何研究PB级容量的大数据流，以及目前正在制订的、用以最为充分地利用海量数据的最新策略进行了探讨。12011年5月，EMC（全球最大的外置存储硬盘供应商）举办了主题为“云计算相遇大数据”的大会；紧随其后，IBM、麦肯锡等众多国外机构发布了“大数据”的相关研究报告，2011年6月，麦肯锡全球研究所发布研究报告大数据的下一个前沿：创新、竞争和生产力（Big Data: The Next F
2、rontier for Innovation, Competition, and Productivity）2，首次提出“大数据时代”来临。此后，联合国、世界经济论坛也纷纷关注信息时代海量数据对社会经济发展所带来的冲击，2012年5月，联合国“全球脉冲”(Global Pulse)计划发布大数据开发：机遇与挑战（Big Data for Development: Challenges & Opportunities）3报告，阐述了大数据带来的机遇、主要挑战和大数据应用。2011、2012年达沃斯世界经济论坛将大数据作为专题讨论的主题之一，发布了大数据、大影响：国际发展新的可能性（Big Dat
3、a, Big Impact: New Possibilities for International Development）4等系列报告。奥巴马政府创造性地将“大数据”概念全面引入到公共行政领域。2009年，美国联邦政府发布开放政府指令（The Open Government Directive），作为大数据的前奏推出了“Data.gov”公共数据开放网站。2012年3月，美国联邦政府发布了大数据研究和发展倡议（Big Data Research and Development Initiative）5，正式启动了“大数据发展计划”，宣布将投入超过2亿美元在大数据研究上6；同年5月，联邦政府
4、发布数字政府战略（Digital Government Strategy）7，致力于为公众提供更好的“数字化”服务，围绕数据进行的一系列措施在美国政府全面推进，大数据对美国政府的影响逐步显现。（二）大数据的概念“大数据”作为信息社会发展的一个新生事物，目前尚处在逐渐被认识、被应用的初始阶段，无论是学术界还是IT行业对大数据的理解各有侧重，尚未形成一套完整的理论体系，因此很难进行精准的定义。维基百科将大数据定义为“所涉及的资料量规模巨大到无法通过目前主流软件工具在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯”8。全球知名的咨询公司如麦肯锡、Gartner以及知名信息化
5、企业如IBM等作为大数据的推崇者，更侧重于从技术层面界定大数据。20112013年，Gartner发布了多个与大数据有关的白皮书，如“Hype Cycle for Big Data, 2012”，定义了大数据的技术生命周期，报告中指出大数据不只是一项单一的技术，而是一个概念，一套技术。互联网周刊则认为，“大数据是通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力”。9大数据的技术属性大数据在诞生之初仅仅是一个IT行业内的技术术语，其主要的特征有：海量化数据（Volume）数据体量巨大及规模完整性。随着数据加工处理技术的提高，网络宽带的成倍增加，以及社交网络技术的
6、迅速发展，使得数据产生量和存储量成倍增长，数据规模从TB级别跃升到PB级别。多样化结构（Variety）数据类型繁多。随着物联网、社交网络、智能终端等的普及和应用，网络日志、视频、图片等非结构化数据所占比例越来越大。高速化处理（Velocity）主要表现为数据流的处理速度快。数据规模的无限扩张既对高速化处理提出了新的要求，也为其带来了新的机遇，大数据的高速化处理要求具有时间敏感性和决策性的分析，要求能在第一时间抓住重要事件发生的信息。这一点也是大数据和传统的数据挖掘技术的本质区别所在。低密度价值（Value）体现出的是大数据运用的真实意义所在。数据规模大并不意味着价值高，相反，这些数据间更多地
7、表现为稀缺性、不确定性和多样性。10尽管对大数据难以明确定义，但大数据所具有的规模性（Volume）、多样性（Variety）和高速性（Velocity）特征被广泛地认同。在3V基础上，人们对大数据的第四特性有不同的看法，IDC认为大数据具有高价值性（Value），尽管这种价值更多地表现在低价值度的碎片化数据中，如何挖掘这种价值正是大数据的关键所在；IBM则认为大数据应该具有真实性（Veracity），真实性将促使人们利用数据融合和先进的数学方法进一步提升数据的质量，从而创造更高价值。112014年，IBM发布了践行大数据承诺：大数据项目的实施应用（Realizing the Promise
8、of Big Data: Implementing Big Data Projects）白皮书，在该报告中进一步扩展了大数据的特性，首次提出将大数据的特性由4V扩展为“Vs”。12“Vs”在大数据已有特性的基础上，增加了数据粘度（Viscosity），主要用来衡量数据流间的关联性（resistance to flow of data）；数据易变性（Variability），主要衡量数据流的变化率；数据有效性（Volatility），主要表明数据有效性的期限和存储的期限时长。 我们认为，未来随着大数据技术的发展成熟，以及人们对大数据应用的深入，大数据的“Vs”特性将会不断变化和拓展（参见表1）。
9、2.大数据的社会属性任何事物都具有物理和社会两类属性特征。无论是最初的“4V”还是IBM修正后的“Vs”理论，我们认为它们都属于大数据的物理属性，是大数据所具有的区别于其他事物的特征，更多关注的是大数据的物理属性。这时的大数据被贴上的是“技术”标签。事实上，现在我们所谈到的大数据概念，其范畴已经远远超过了技术领域，而是被赋予了更丰富的社会属性。在看待大数据时，要建立全面、系统的大数据意识，要看到大数据在创造社会价值、变革行为方式等社会属性的“大”，而不仅仅只是其物理属性的“大”。艾伯特拉斯洛巴拉巴西在爆发：大数据时代预见未来的新思维一书中指出，“大数据，更强的流动能力，社会化增强；每个人都是自
10、媒体，个性化增强；更大范围的连接，网络化增强”；涂子沛在大数据：正在到来的数据革命一书中指出，“大数据时代是一个更开放的社会、一个权力更分散的社会、一个网状的大社会”。综合以上观点来看，我们认为，大数据只有与人发生了关系，展示了人类行为的规律性，才真正具有了意义。大数据应该具有它的社会属性，大数据社会属性是指大数据受社会影响所衍生出来的属性。事实上，我们认为，大数据发展到今天，其内涵已经不仅仅局限于技术维度，而是在演变过程中概念和涵义不断扩展，进而形成了一个语义更加丰富、维度更加多元的综合性的概念，主要可以从以下几个方面理解：大数据是一种技术。大数据中的数据量非常巨大，达到了PB级别，在这庞大
11、的数据之中不仅仅包括结构化数据（如数字、符号等数据），还包括非结构化数据（如文本、图像、音频、视频等数据）。这使得大数据的存储、管理和处理很难利用传统的关系型数据库去完成。在大数据之中，有价值的信息往往深藏其中。这就需要利用可视化分析、数据挖掘算法、预测性分析能力、语义引擎和数据质量管理（Data Quality Management）等技术对海量数据进行快速处理并获取有价值的信息，这个获取信息的过程就是大数据技术。大数据是一种能力。大数据是一种寻找确切意思的能力，在大量数据当中寻找到背后隐藏的意义，发现事先未能想到的关系、有意思的联系的能力；大数据是一种能较准确判断事物发展趋势的能力，大数据
12、通过对行为数据、物理数据等的分析，可以找出数据之间微妙的关联关系，然后利用这些关系找到事物发展的规律，进而预测未来；大数据是一种能带来创新的能力，大数据通过对数据的整合，将看似不相关的数据进行“重组”和分析，挖掘数据的潜在价值，进而实现数据创新，这种创新有可能带来产业的转型，也可能创新某种产品。大数据是一种思维。大数据是一种以“开放共享”为核心价值观的思维方式，在大数据时代强调从信息公开到开放数据，从开放数据到开放数据接口，随着数据开放共享程度的提高，社会的开放共享程度也在提高。2014年4月24日，百度宣布开放全球首个大数据引擎，并向外界开放，为社会提供大数据存储、分析及挖掘的技术能力。大数
13、据是一个时代。大数据开启了一个以数据为基本元素的、以数据为战略资产的时代，在大数据时代掌握了数据就意味着拥有了核心竞争力。每个个体都是一个数据“源”，每个个体都可以发声，大数据时代让社会朝着更加个性化、民主化、自由化、开放化的方向发展。（三）大数据的技术路线从技术角度来说，大数据不是数据的简单罗列和堆积，而是需要对所收集的碎片化、多样化、价值度低的数据进行关联分析，如对政府部门业务数据库、政府网站浏览量，以及政务微博和微信等社交网络数据进行抽取集成后，利用数据挖掘、统计分析等分析工具找出可以预测事物发展的规律、可以对现象做出解释的原因，然后以可理解的、交互的方式展现给使用者，为用户提供决策分析
14、支持（参见图1）。二、大数据时代对政府治理的影响在看待大数据时，要建立全面、系统的大数据意识，要看到大数据在创造社会价值、变革行为方式等社会属性的“大”，而不仅仅只是其物理属性的“大”。大数据时代，政府治理中更加关注的是大数据的社会属性，物理属性为政府治理提供了技术支撑，而社会属性却可能变革政府治理的模式，对于政府治理创新有着不可估量的作用。从技术层面来看，大数据时代社会信息化和政府信息化程度前所未有，物联网、云计算、数据整合、基于语义网的Web3.0、关联数据、信息发布等新技术的发展与普及，为政府治理实现“智能”化提供了技术支撑，将会从根本上改革政府的组织模式和政府形态，进而改变政府治理模式
15、，影响整个政府存在的形态。从长远来看，大数据将会对政府治理范式、政府职能和政府自身管理等多个方面产生影响。（一）对政府治理理念的影响开放的意识“开放”是大数据时代最强音。无论是美国提出的“开放政府”战略，还是规模不断扩大的世界“开放联盟”组织，世界各国政府的开放意识在强化。开放意识的缺失，将使一个国家或政府在大数据时代处于“被淘汰”的境地。包容的心态大数据时代，国家间的包容性增强，欧盟科学数据的开放战略志在打破体系内20多个国家的数据分界线，实现数据世界的一体化。美国与印度联合开发公共数据OGLP平台，希望可以将其免费、无条件地移植到世界各国或组织，国家边界模糊化；美国“We the Peop
16、le”的上线，政府利用“社交”方式为公民提供了合法的倾诉平台，可以更近距离地听到公众的声音，政府与公众之间的包容度增强。科学的态度大数据时代，数据的颗粒度在变小，政府所能获得和提供的数据更加原始与真实，政府决策过程在科学技术的支撑下变得高效与可考证化，决策结果中不确定因素所带来的风险大大降低。科学思考成为一种习惯，经验分析不再主导。关联的思考大数据时代，认识问题、分析问题、思考问题、解决问题，都需要进行“关联”，人的关联、物的关联、人与物的关联，历史时间的关联，地理位置空间的关联，多维度的关联。深度的分析大数据时代，分析是深度的、实时的，大数据分析的是极端个人化的数据，这些个人信息以形态各异的形式分散在不同的时间段、不同的地理位置、不同的网站平台，大数据要做的就是不停地分析，深入挖掘这些看似不
