《重大大数据与智慧城市精编版》由会员分享，可在线阅读，更多相关《重大大数据与智慧城市精编版（56页珍藏版）》请在金锄头文库上搜索。
1、电子政务发展新趋势,2,大数据时代来临,3,1 大数据的影响,在商业、经济及其他领域中的决策行为将日益基于对数据的分析； 还有人在将数学与政治科学联系起来，分析政治观点是如何传播的； 在科学和体育、广告和公共卫生等也朝着数据驱动型的发现和决策的方向发生转变。,4,1.1 数据、大数据、大数据时代,常见的几个词汇 符号：事物的标志，表示一定的意象，可以是图形、语言、文字、手势等。 消息：关于人或事物情况的报道。它是由符号空间中的基本元素符号编码而成，这涉及信息的表示问题。 数据：对可以存储、处理的实体的描述，可以是语言、文字、图形、表格、视频、多媒体等形式。是消息和信息的载体。 知识：人们在社会
2、实践中所获得的认识和经验总和。 智慧：认知和改造世界的能力。,5,1.2 大数据的概念,百度百科：大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 维基百科：大数据是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用形成的智力资源和知识服务能力。,为什么叫大数据？,YB:2的80次方，ZB的1000倍,ZB:2的70次方，EB的1000倍,EB:2的60次方，PB的1000倍,PB:2的50次方，TB的10
3、00倍,TB:2的40次方，GB的1000倍,GB:2的30次方，MB的1000倍,绝大部分应用在这两个数量级,7,数据存储能力：目前已达TB级，谷歌系统已迈入PB级。 谷歌总裁Rric Schmidt根据科技研究公司IDC作出的估测，数据一直都在以每年50%的速度增长，即每两年就增长一倍。,8,定义：大数据是由海量异构的数据组成的数据集合，它是可以应用合理的数学算法或工具从中找出有价值的信息，为人们带来利益的一门新兴学科。 “大数据”更多的意义在于：人类可以“分析和使用”的数据在大量增加。,9,1.3 大数据的特征,4个“V”：Volume，Variety，Value，Velocity,大数
4、据 的特性,更关注 相关性,主要用 于预测,数据量 巨大,实时性 要求高,我们每个人都在制造和使用信息,每秒发出290万条短信； 每天Twitter上发布5000万条微博； 每天Google处理的数据24PB； 2012年11月11日第一秒，用户向阿里网购提出1千万请求； 全球新增网页571亿个,2006年全球生成、复制的数字化信息量大约16.1万PB，当年的信息产生量约是历史上图书信息总量的3000倍； 过去3年数据量比以往数万年还多； 2020年数据产出量将比2009年的44倍还多；,11,数据爆炸,如果在网上搜索“Informaion”一词，用Goole只需0.33秒就给出3,710,0
5、00,000条，用Yahoo只需0.23秒就给出15,300,000,000条。 谷歌能在不到0.1秒的时间内，可从每天从处理的20PB（相当于20座法国国家图书馆的数据）数据中挑选出和搜索出与所请求相匹配的数据。,12,数据搜索、查找、处理能力,这需要依靠在巨大的数据库内对相关数据间可能的联系，采用专门设计的算法和成千上万台计算机组成的规模庞大的服务器“巨阵”进行高速自动分析实现。 大数据时代的网络所提供的海量数据，包括文献、图片、视频、各种观测仪器和传感器记录的原始数据、以及不计其数的实验结果，任何科研人员个体面对全球性的数据洪流都将束手无策，只能求助于搜索引擎和分析软件，它们可以从中找出
6、数据间意想不到的关联，推断出一些新的结果。,13,数据爆炸是现实，信息爆炸尚可言，但绝不存在知识爆炸，更不可能存在智慧爆炸！,14,1.2 大数据技术,大数据、物联网、云计算、移动通信等都是近年涌现出来的新兴概念，彼此之间不是孤立的，而是存在着内部联系。,15,1.3 大数据时代的特点：,数据的产生、传输、存储、处理的规模都是海量的，除了结构性数据外，还有大量非结构性数据，特别体现在数据结构的复杂性和关联性。 在大数据时代，挖掘、查找、筛选、分析处理和存储数据的能力是至关重要的，人们将主要靠计算软件完成这类工作。 数据的完整性、隐私、安全、产权保护是大数据时代的一个重要技术问题。 数据可以用来
7、推断某些事情可能发生或者不可能发生，成为判断、决策的工具。 由海量数据导致的业务管理系统处理效率问题急需解决。,16,2009年，甲型H1N1流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大努力，但得到的数据仍然滞后一两周，而Google对人们的搜索的历史记录进行处理，建立合理的数学模型后，得到的预测结果与官方的数据相关性高达97%，能够立刻判断出流感是从哪里传播出来的，没有一两周的滞后。 Google处理了5000万条历史记录、4.5亿个不同的数学模型。,17,Farecast是一个对机票价格进行预测的公司，帮助消费者抓住最佳购买机票的时机，使乘客节省很多钱。 最初预
8、测系统建立在41天之内的12000个价格样本基础上，数据是从旅游网站上抓取的，如今已经拥有超过2000亿条飞行记录。 系统只推测机票的价格何时最便宜，不关心是什么原因导致的价格下降。,FarecastBing,18,大数据带来的思维方式的变化,处理的对象往往是全部数据，而不是部分数据的采样 采样的不合理会导致预测结果的偏差，在大数据时代，依靠强大的数据处理能力，应该去处理全部的数据。 不再执迷于精确性 精确的、规范化的、可以被传统数据库处理的数据只占全部数据的5%，必须接受不精确性才能处理另外95%的数据。 错误的数据是客观存在的，竭力避免它就失去了应有的客观性和公平性。 大数据的简单算法比小
9、数据的复杂算法更有效。 更加关注相关性，而不是因果性 预测依靠的是相关性。 很多情况下知道“是什么”即可，不必知道“为什么”。,19,2 信息空间与赛伯空间（Cyberspace）,物联网,20,赛伯空间是人类构建的一种虚拟空间，它是整个宇宙中的信息空间中的一部分。互联网是构成赛伯空间的主要组成部分，但绝不是全部。 信息空间是由无形的信息所构成的虚拟空间，它相对于有形的物理空间。物理空间中的很多事物会映射到信息空间中去。,以T主线，我们可以初步推论信息交流平台和参与人数与社会发展的关系,1-10,百-千,万-十万,十万-百万,千万-亿-几十亿,原始社会,农业社会,工业社会,信息社会,22,大数
10、据的价值链,数据,数据的掌控者，拥有或者可以收集大量数据的组织。海量的数据就是财富，可以考虑自己分析或者卖数据给政府、企业或其他组织。,技术,技术供应商或者分析公司。掌握了从海量数据中分析出有用信息的技能或者工具，但本身不一定拥有数据。,思维,有创新思维的人或者组织。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。,23,3 大数据在管理领域中的运用,大数据形成 大数据的开发和应用,24,3.1 大数据的形成,信息获取的问题上取得进步是促进“大数据”趋势发展的原因之一。 数据同时也正在变得更加容易被计算机所理解。,25,分析挖掘大数据技术人工智能（AI）。互联网中的非结构化数据是巨大“宝藏
11、”，从中可获得知识和洞察力，所需的计算机工具正在迅速发展中。在这种工具的核心技术就是人工智能（AI），如自然语言处理、模式识别和机器学习等。,26,物联网（Internet of Things），也称“工业互联网”（Industrial Internet）。当今全球范围内的工业设备、汽车、电子仪表和集装箱中，都有着无数的数字传感器，这些传感器能测量、通报位置、运动、震动、温度和湿度等数据，甚至还能测量空气中的化学变化，而物联网将这些传感器与计算智能地起来，成为大数据的重要源泉。,何谓“云计算”,是一种用户体验和业务模式。 云计算是一种新兴的计算模式，它通过网络将应用、数据和IT资源以服务的形式
12、交付给最终用户是一种基础设施管理的方法。 云计算是一种管理大量可被虚拟化资源的方法，使得从管理角度看就像是一个庞大的资源，通过它为用户交付服务。,监控管理资源,服务提供者,软件库,发布更新软件,软件开发者,用户,使用服务,*图中展示了3种主要角色，分别是云计算用户、服务的提供者及软件的开发者。云是一个开放的平台，可以允许第三方对平台现有的功能进行增强，从而形成一个生态系统。,28,3.2 大数据的开发与应用,数据驱动型决策，“大数据”的预见能力正在被开发中； 大数据时代，科学研究发展到一个新的阶段智慧化机器阶段； 社交网络研究的内容涉及如何采集庞大的数字化数据集合，用来阐释网络集体行为。,29
13、,“小世界现象”，“六度分隔”理论,社交网络研究的内容涉及如何采集庞大的数字化数据集合，用来阐释网络集体行为。 这种研究的结果表明，你所认识但不经常联系的人在社会学中被称为“弱联系”是职务空缺、小道消息的最佳来源，与关系亲密的朋友相比，这些人在稍有不同的社交世界中穿行，因此能看到你和你最好的朋友们所无法看到的机会。,30,大数据与经济管理,大数据成为企业产品和服务销售的重要参考，是营销业和广告业重要信息源。厂商们迅速利用这类数据库，通过一些专用软件对成千上万的参数进行实时全局分析。 伴随互联网日益渗透人们的日常生活，基于社交平台和搜索引擎的用户行为数据开始被广泛应用于各个领域。因为能有效映射市
14、场主体的情绪，互联网大数据也逐渐成为投资市场新的“基因”。,31,大数据与全球化,联合国已经推出了名为“全球脉动”（Global Pulse）的新项目，希望利用“大数据”来促进全球经济发展。 联合国将进行所谓的“情绪分析”，使用自然语言解密软件来对社交网站和文本消息中的信息作出分析，用来帮助预测某个给定地区的失业率、支出削减或是疾病爆发等现象，其目标在于利用数字化的早期预警信号来提前指导援助项目，以阻止某个地区重新陷入贫困等困境。,32,大数据与政府管理,在全美范围内，以纽约市为首的警方部门也在数字地图上对历史记录中的逮捕模式、发薪日、体育项目、降雨天气和假日等变量进行分析，从而试图对最可能发
15、生罪案的“热点”地区作出预测，并预先在这些地区部署警力。 各国政府的情报部门也都动起来了，如美国国家安全局新成立的监听中心在建立同时处理YB级的数据处理中心。,美国政府通过启动Data.gov网站的方式进一步开放了数据的大门，这个网站向公众提供各种各样的政府数据。,上海建立国内首个省级政府数据服务网站，免费向公众提供各种政府数据和信息。,35,4 电子政务发展中的大数据运用,百度“国庆长假”旅游管理 大数据预测和管理12306“春运”网上售票,36,4 智慧城市,智慧城市的内涵； 构建智慧城市的基础； 智慧城市的管理与服务特点；,37,人类城市的发展史,20世纪,“现今我们所知道的一切科技手段
16、、生活方式，都集中在城市中体现出来，这使我们的城市成为更加智慧更加独特，也组成了我们的智慧地球。” 山姆 彭明盛,21世纪,芝加哥,马斯达零碳城，阿布扎比,“城市是人类用手用心创作的艺术品 .” 查尔斯 艾布拉姆斯,“城市是人类的深渊。” 让雅克卢梭,19世纪,格拉斯哥贫民窟,38,工业时代的困境,由于电网效率的低下导致40%-70%的电力被浪费,美国纽约市在交通高峰时，平均40%-45%的车辆在寻找停车位,现有油井中只能开采出20-30的石油,美国每年出现220万起由于手写处方导致的配药错误，而电子医疗记录每年可帮助防止 10万 人因为医疗失误而死亡,低效的供应链使得消费产品和零售业每年损失400亿美元，相当于销售额的3.5%。,金融市场因为缺乏跟踪与有效监管，盲目扩张，酿成危机,38,39,4.1 如何理解智慧城市,例如:阿姆斯特丹自由大学Caragliu（卡拉格鲁）, A. Del Bo, C. & Nijkamp, P认为： 途径：通过参
