《一种新的智慧城市数据共享和融合框架——scldf》由会员分享，可在线阅读，更多相关《一种新的智慧城市数据共享和融合框架——scldf（16页珍藏版）》请在金锄头文库上搜索。
1、一种新的智慧城市数据共享和融合框架SCLDF 陈真勇 徐州川 李清广 吕卫锋 熊璋 软件开发环境国家重点实验室(北京航空航天大学) 先进计算机应用技术教育部工程研究中心(北京航空航天大学) 摘 要： 智慧城市是物联网、云计算、移动网络、大数据等为代表的信息技术与城市化发展相结合的产物.如何有效地实现对智慧城市中海量、异构、多源数据的数据共享和融合是智慧城市必须要解决的核心问题.首先分析了传统数据融合技术的特点,然后阐述了当前可以用来解决智慧城市大数据共享和融合问题的技术.在此基础上提出了一种新的智慧城市数据共享和融合框架智慧城市数据互联框架(smart city linked data fra
2、mework),并详细阐述了其总体架构以及架构中每层的作用、关键技术和需要解决的问题,最后详细阐述了数据语义标注标签和数据互联层相关问题.关键词： 智慧城市; 数据融合; 语义网; 关联数据; 数据互联网络; 数据活化; 作者简介：陈真勇 作者简介：徐州川 作者简介：Li Qingguang,born in 1987.Master candidate in the School of Computer Science and Engineering of Beihang University.His current research interests include information
3、hiding and smart city.作者简介：L Weifeng,born in 1972.Professor in the School of Computer Science and Engineering of Beihang University.Member of China Computer Federation.His main research interests include intelligent transport system and smart city.作者简介：Xiong Zhang,born in 1956.Professor at the Schoo
4、l of Computer Science and Engineering,Beihang University,China.His main research interests include the Smart City,data vitalization and large- scale computer application systems.收稿日期：2013-07-29基金：国家“八六三”高技术研究发展计划基金项目(2013AA01A601)A Novel Framework of Data Sharing and Fusion in Smart CitySCLDFChen Zh
5、enyong Xu Zhouchuan Li Qingguang L Weifeng Xiong Zhang State Key Laboratory of Software Development Environment(Beihang University); Engineering Research Center for Advanced Computer Application Technology (Beihang University),Ministry of Education; Abstract： Smart city is a new concept and model of
6、 urban development,and it is the combination of urbanization development and the new generation of information technologies such as Internet of Things,cloud computing,mobile network and big data.With the explosive growth of the quantity of data in cities,how to share and fuse the massive,heterogeneo
7、us,multi-source data in smart city becomes a core issue which must be solved.In this paper,the characteristics and drawbacks of traditional data sharing and fusion technologies are firstly described and analyzed in details,and then some frameworks and thoughts such as semantic Web,data vitalization
8、and Internet of data,which may resolve the data sharing and fusion problems in smart city,are introduced.Based on these studies,a new framework of data sharing and fusion in smart citysmart city linked data framework is proposed.Then the overall layered structure,advantages against the other relevan
9、t frameworks and technologies are described briefly.Next,the functions,technologies and challenges of each layer are described in details.The concept of data semantic annotation tag(DSAT)are proposed.And the technologies,methods and classifications of DSAT are described in details.At last,the releva
10、nt issues about data linked layer are analyzed in details.Keyword： smart city; data fusion; semantic Web; linked data; Internet of data; data vitalization; Received： 2013-07-29随着物联网、云计算、移动网络、大数据等相关技术的发展,智慧城市中数据容量和类型的急剧增长,如何有效地管理、分析和整合这些大数据,从数据中提取出有用的信息并将信息转化为价值,成为众多互联网企业和学术界的研究重点和热点.2012 年 IT 产业界和学术
11、界对“大数据”的关注度不断提升,存储和处理大数据的技术得到空前的发展.研究者们对于如何存储、管理、分析和理解大数据提出了许多技术,大数据相关技术得到了极大的发展.Google 提出的大数据处理和存储技术 MapReduce 和 GFS(google file system)、备受业界推崇的 Apache 旗下顶级项目 Hadoop、迅速崛起的 NoSQL 数据库技术以及 Hinton 教授提出的深度学习都成为当前的研究热点.然而如何将多源分散的数据有机整合起来,有效地实现不同数据源的数据共享和融合还没有得到真正的解决.在智慧城市中数据的来源非常分散,如环境传感器数据、移动网络数据、互联网数据和
12、各种信息系统数据,如何将这些分散的数据互联起来,实现数据共享和融合,提高数据利用率,是智慧城市中亟待解决的核心问题.数据融合(data fusion)技术主要是指整合表示同一个现实世界对象的多个数据源和知识描述,形成统一的、准确的、有用的描述的过程,最早应用于军事领域中的遥感数据.传统的数据融合方法主要包括数据仓库、中间件和联邦数据库,这些技术主要用于解决企业多个异构数据集数据的共享和融合问题,建立在规模较小又不太分散的系统上.传统的数据共享技术主要包括语义标注和 Web API 技术.语义标注技术的标准主要包括 Microformat,RDFa,Microdata 等.然而语义标注技术具有使
13、用范围较窄、描述能力有限的缺点.Web API 技术是当前数据共享应用采用最多的形式,缺点是开放接口不一致,返回的数据没有并联性,因而不能实现数据之间的互联.智慧城市中的数据具有海量、异构、多源的特点,因此解决智慧城市大数据的共享和融合问题需要提出新的数据共享和融合技术.由 Berners-Lee 等人于 2001 年提出的语义网(semantic Web)概念是对 Web 3.0的一种设想.互联数据(Linked Data)是语义网中的数据描述框架的实现,它是一种通过发布结构化数据使数据互联进而提高数据应用价值的框架.Linked Data适用于分散、孤立、异构、海量的互联网数据,因此对智慧
14、城市大数据的共享和融合具有指导意义.Xiong 等人提出了一种大规模数据分析范式数据活化(data vitalization),其中智能活化单元思想对解决智慧城市数据共享和融合问题有指导和借鉴作用.Fan 等人提出了一种扩展物联网的思想IOD(Internet of data),IOD 将数据类比为物联网中的实体,利用数据标签进行数据关联,是实现数据共享和融合的一种新的思路,对指导智慧城市数据共享和融合有积极的作用.本文提出一种新的智慧城市数据共享和融合框架智慧城市数据互联框架(smart city linkeddata framework, SCLDF).SCLDF 框架结合 Linked
15、Data 技术、数据活化思想、IOD 思想,以及多媒体标注和描述、文档标注等多种技术,实现智慧城市数据共享和融合,同时还具有数据描述、访问寻址、语义标注、数据分类等多种功能.SCLDF 通过数据的关联关系实现数据共享和融合,不仅可以提高大数据的处理性能,加深数据语义处理的深度,还扩展了数据处理和分析的广度,使数据的分析和处理不再局限在少量孤立数据集内,而将大数据有机整合起来,极大地提高了数据的利用率.1 相关技术本节简要阐述 SCLDF 相关技术和思想,分析这些技术和思想的主要特点和优缺点.1.1 Linked Data文献5提出的语义网思想是对未来互联网的一种设想,通过在互联网上提供统一数据
16、描述实现数据网络(Web of data).W3C 对语义网的描述是可以让人们在网络上创建和存储数据、构建词汇库、为处理数据设定规则,从而形成数据网络,其最终目标是使计算机利用数据网络产生更多有效的、支持可信交互的系统,提供更加有用的网络应用.Linked Data 则是语义网思想的一个轻量级实现,它鼓励人们将已有数据发布成Linked Data 推荐形式,并将数据互联起来,在网络上形成标准形式的、可以管理和使用的大规模分散数据,从而在互联网上形成一张超大规模的、相互连接的数据网络.Linked Data 中数据发布者就像构建普通网站一样发布数据,每个发布者自身负责数据的维护、数据之间的连接和数据的访问控制等问题.简而言之,Linked Data 是一种结构化描述数据和使数据互联的数据描述和发布规范.尽管 Linked Data 的发展非常迅速,但关于 Linked Data 的应用还十分有限,究其原因,Linked Data 技术
