大数据技术与智慧城市建设

《大数据技术与智慧城市建设》由会员分享，可在线阅读，更多相关《大数据技术与智慧城市建设（8页珍藏版）》请在金锄头文库上搜索。

1、大数据技大数据技术术与智慧城市建与智慧城市建设设基于技基于技术术与管理的双重与管理的双重视视角角信息技术的发展催生了与此相关的应用领域。智慧城市就是信息技术与城市管理相 结合的产物。智慧城市是电子政务发展的最新成果，与智慧城市发展同步的是大数据的 概念。大数据是指随着互联网数据的共享以及用户量的增加而产生的数据量和数据类型 以几何级数激增的现象。通过剖析大数据与智慧城市之间的关系，探讨在大数据时代利 用大数据技术推动智慧城市建设与促进智慧城市大数据技术发展的方式方法。我国要在 信息时代占据技术与管理的制高点，这是必须要高度关注的问题。一、智慧城市与智慧城市建设智慧城市是数字城市、物联网和云计算

2、三者的整合，数字城市是骨架，物联网是神 经，云计算是大脑。智慧城市的基本运作流程是：智慧城市依托数字城市的基础框架，通 过遍布各处的传感网络与实体城市相关联，将城市管理与城市建设中的大数据交由云计 算平台进行存储、计算、分析、决策，再依据云计算平台的输出结果对城市的各种设施进 行自动化管理与控制1。如果说数字城市、物联网与云计算平台等相当于高速公路，大 数据则是高速公路上的车辆。数字城市是实体城市的虚拟映射，它存在于网络空间中，通过把遍布城市各处的信 息采集系统按城市的坐标进行逻辑关联，实现了城市全部信息的有机整合，既便于全面 掌握城市各方面的信息，又方便按地理坐标快速检索，一旦发生紧急情况，

3、可以及时应 对。信息采集系统所采集的城市相关信息是多种多样的，包括基础地理数据、街景影像 数据、三维模型数据、专题数据等。这些数据按性质可分为部件和事件两类。部件是城市 的静态存在物，如一个路灯；事件则是城市的动态反映，如占用道路摆摊。数据城市系统 中的各类用户（包括政府、企业和公众）均可以在网络上共享、发布自己的信息，也可以 通过网络便捷地获得各类相关信息和服务。物联网是信息技术发展的新产物，顾名思义，物联网就是物与物相连的互联网。也 就是说，物联网是互联网的扩展和延伸，与互联网上的应用相兼容，其基础与核心依然 是互联网。不过，物联网的用户端不再局限于电脑、手机等数据处理设备，而是扩展到了

4、任何物品，从而使得物品与物品之间也能进行信息的传递与交流。物联网通过全球定位 系统、射频识别、红外感应器、激光扫描器等通信感知技术，按特定的协议把物品与物品、 物品与互联网连接起来进行信息交换和通讯，把物品与网络融合起来， “一切皆是互联网”， 从而实现智能化的识别、定位、跟踪、监控与管理。在城市管理中，物联网技术大有可为。 城市是一个复杂的系统工程，各种部件极为庞杂，如公路、建筑、桥梁、电网、给排水系 统、油气管道等，运用物联网技术，可以把感应器嵌入和装备到这些部件中，利用局域网 或互联网等通信技术把感应器、控制器、机器、人员和部件等联系在一起，形成人与物、物与物相联和远程控制，从而实现城市

5、管理的信息化和智能化。根据世界无线研究论坛 的预测，未来的世界将是物联网的世界，到 2017 年，世界各地将有 7 万亿传感器联入物 联网2。这些传感器通过有线或无线网络为用户提供无处不在、无时不有的应用与服务。云计算是一种基于互联网的计算模式，是并行计算、分布式计算和网格计算的发展 和延伸。云计算的计算能力、存储能力和交互能力等动态、虚拟的计算资源是通过互联 网来提供的，这些资源易于扩展。云计算的计算能力很强，可以快速处理海量数据并借 助互联网向用户提供服务。比如，利用云计算可以预测经济走向、气候变化等，用户通过 电脑、笔记本、手机等客户端借助互联网向云计算中心提出计算需求，云计算迅速做出

6、反应并将结果反馈给用户。因而，也可以把云计算理解为一种建立在互联网基础上的相 关服务的增加、使用和交付模式。云计算是一种资源的有效整合机制，计算过程不是本 地计算机也不是远程服务器，而是把计算任务分布在大量的分布式计算机上，通过互联 网实现了任务的分解、协同与整合。这好比是用电单位所依赖的不是单台发电机，而是 集中供电的电网。在云计算模式中，计算能力成为可以流通的商品，就像管道煤气和自 来水一样，使用方便，价格低廉。当然，与一般商品的不同之处在于，云计算是以互联网 为基础的。云计算的核心是向用户提供服务。与早期城市信息基础设施建设和数字城市建设相比，智慧城市建设更加强调系统整 合与服务，从“信

7、息孤岛”到“共享集成”，从“数据为王”到“应用至上”，更加强调城市管理 的统筹兼顾、协同配合、快捷高效、实时互动、智能服务。从上述智慧城市的基本构成看， 智慧城市建设也非常强调工业化与信息化的高度统合与集成。20 世纪 90 年代，世界信 息化发展驶入快车道。智慧城市建设以 1993 年 9 月美国开启“信息高速公路”计划为起 点，其后经历信息化城市、数字城市和智慧城市三个阶段。在此方面，我们紧紧把握信息 化发展的机遇，适时地推动了信息化城市建设。1993 年 12 月，我国正式启动“三金工程”， 即金桥工程、金关工程和金卡工程。此后，我国又提出要加快十二个重要业务系统建设， 即“十二金”工程

8、。这为信息化城市建设奠定了基础。1998 年，时任美国副总统戈尔提出 了“数字地球”的概念，信息化城市建设迈入数字城市建设的新阶段。我国也有三百多个 城市开始数字城市基础框架建设，由国家测绘地理信息局发布的“天地图”成为数字中国 和数字城市的重要技术支撑和运行载体。2006 年，物联网、云计算等新兴信息技术被引 入城市信息系统。2009 年，美国 IBM 公司提出了智慧城市的基本理念和发展愿景。此后， 智慧城市逐步成为占据主流的概念。目前，在北美和欧洲兴起了建设智慧城市的热潮， 仅 IBM 公司参与的智慧城市项目就达二千五百多个。除 IBM 公司外，其他科技公司如 微软、西门子、思科等以及以埃

9、森哲为代表的咨询公司也开始介入智慧城市建设3。我 国智慧城市建设与国际同步，其目标是推进城市的绿色、低碳、和谐与可持续发展。我国 当前面临着新型城镇化、农业现代化、工业化和信息化“四化合一”的新机遇和新挑战， 智慧城市建设对于我国在信息时代实现对发达国家的赶超无疑有着至关重要的意义。二、智慧城市中的大数据和大数据技术信息时代的重要特征就是海量信息的高度聚集、迅速传播。我们正在步入大数据时 代。 “大数据”的概念最早可以追溯到托夫勒的第三次浪潮（1980 年）。不过，直到 2009 年，这一概念才开始在信息通讯技术领域得到普及。大数据不同于传统数据的基本特征 在于：大容量、高速度与多样性。大容量

10、体现在其数据量已经从太字节（TB，240）级上升到泽字节（ZB，270）级，这种数据量已经很难用传统的技术进行处理；高速度在于数据传 输速度已经可以达到实时的程度；多样性主要是指大数据的数据类型和数据来源的多样性。智慧城市利用物联网将实体城市与数字城市连接起来，物联网每时每刻都在产生着 庞大的数据信息。智慧城市管理和运作的基础就是这些通过传感器采取的大数据。这些 大数据需要经过存储、处理、查询、分析等技术环节才可用于智慧城市的相关服务和应 用。为实现对城市的高效管理，智慧城市建设必须面对种类繁多、数量庞大的大数据，特 别是空间、视频等方面的大数据，如何充分发挥云计算的优势，对智慧城市大数据进行

11、 有效的存储、融合、检索、挖掘等，这是亟待解决的问题。云计算技术为智慧城市大数据 的有效管理搭建了从基础设施、数据到服务的一体化平台。基于云计算技术平台的大数 据技术主要包括大数据存储技术、大数据融合技术、大数据检索技术、大数据挖掘技术。城市管理中产生的海量大数据的存储问题可以通过云存储和智能压缩算法来解决。 在云计算技术的支持下，城市管理中产生的大数据均以虚拟化方式实现云存储。就技术 层面来说，云存储通过集群应用、网格或分布式文件系统，将城市管理中产生并存储的 各种类型的大数据通过网络协同起来，共同提供数据存储和业务访问功能。云存储中的 大数据对于云端的每一授权用户均是开放的，用户可以通过网

12、络与云存储连接，相当于 单一用户拥有了整个云存储的能力，从而突破了传统存储方式的性能和容量方面的瓶颈。 这样，云存储把各自为战的“信息孤岛”连为一个有机的整体，既可以实现数据共享，也 解决了数据重复存储所造成的存储成本高昂的问题。城市管理中空间和视频类大数据占 用存储空间是极大的，但是，这类多媒体信息均存在数据冗余。比如，一幅图像中一片绿 地，其中许多像素是相同的，如果逐点存储，就会造成存储空间的浪费。再比如，视频监 控所获得的动态画面中，在相邻序列中，只有运动物体有一些变化，静止的背景不变，仅 存储变化部分即可。数据压缩就是去掉冗余信息。智能数据压缩就是保留有用信息、去 掉冗余信息，或者按照

13、一定算法重新组织数据，从而达到缩减数据量以减少数据存储空 间的目的。为实现城市基本构成要素（人、物、环境）的协同运行，智慧城市需要将各种感知设 备获得的数据信息进行有效的集成，大数据融合技术就是为了解决这个问题应运而生的。 智慧城市需要在多个系统之间实现数据交换与共享，特别是底层数据的融合与集成是实 现智慧城市高效运转的前提条件。比如，城市安防系统需要综合利用城市人口数据、犯 罪嫌疑人档案库、案件卷宗库、城市道路监控视频等多种数据，以便从中发现犯罪嫌疑 人线索，并为案件侦破提供相关信息。当前，我国智慧城市建设中存在的问题就是各个 系统之间的数据缺乏统一的标准，导致数据无法实现有效的利用和共享。

14、大数据融合技 术要求必须强化大数据的标准化建设，同时加强异构数据建模与融合等关键技术的研发 工作，为底层数据的有效集成和融合提供标准和技术保障。智慧城市建设强调以应用服务为中心，如何针对具体应用服务提供大数据的快速检 索服务就成为智慧城市建设的关键。传统意义上的信息管理系统对数据快速检索的办法 是建立数据库，将一条信息作为数据库中的一条记录，按信息的不同属性建立相应字段 并予以赋值，再将这些记录进行排序、索引。对于复杂的信息还可以通过数据库之间的 关联以便于信息检索。但是，在智慧城市中，相当多的信息因难以实现数字化而无法通 过数据库技术进行检索。比如针对视频监控图像的检索就需要全新的检索云服务

15、。检索云服务不但能够自动提取图像和视频中的有关特征，还能针对视频中的动态行为（如翻 墙、奔跑、聚集、跟踪等）进行提取并建立索引。对于最终用户来说，只要提供动态行为 和地理信息，即可实现快速检索。数据挖掘就是从海量的、不完全的、随机的数据中提取出潜在的有规律的知识和信 息的过程，也有学者将此过程称为数据分析。大数据挖掘技术在智慧城市建设中有着广 泛的应用，为智慧政府、智慧交通、智慧社区等提供重要的技术支持。大数据挖掘的任务 具体包括关联分析、聚类分析、分类、预测、时序模式和偏差分析等4（p.47）。关联分析 的目的是找出数据库中变量之间的某种规律性，如简单关联、时序关联和因果关联等。 聚类是把数

16、据按属性的相似性归为一类。分类就是找出一个类别的概念描述，以用于规 则描述和预测。预测就是根据历史数据的规律性来建立数据模型，并以此模型来估算未 来数据的变化。时序模式就是通过时间序列寻找重复发生率较高的模式。偏差分析就是 发现观察值与参照值之间的差异。大数据挖掘项目是一个生命周期，具体又分为六个阶 段，即业务理解、数据理解、数据准备、建立模型、模型评估和实施部署5（pp.108-109）。 这些阶段根据需要可以前后调整。三、大数据技术在智慧城市建设中的应用近年来，我国城市发展的成绩值得肯定，但城市发展也面临着人口增长过快、能源 资源紧张、生态环境恶化、交通拥堵、房价高昂、公共安全问题严峻等“城市病”问题6。 大数据技术在智慧城市建设中有着非常广泛的应用，这为“城市病”问题的解决提供了重 要的技术手段。大数据的获取与传输离不开覆盖广、速度快的互联网络，因此，互联网基 础设施是智慧城市建设的前提。在“硬件”基础设施外，开放数据则是智慧城市建设的“软 件”基础设施3。智慧城市运营中心是把“硬件”基础设施与“软件”基础设施进行有效整 合的关键。智慧城市