《关于大情报系统体系架构优化调整和技术发展方向的思考》由会员分享，可在线阅读，更多相关《关于大情报系统体系架构优化调整和技术发展方向的思考（8页珍藏版）》请在金锄头文库上搜索。
1、 1 / 8关于关于“大情报大情报”系统体系架构优化调整系统体系架构优化调整和技术发展方向的思考和技术发展方向的思考摘要：面对公安行业信息化日益增长的业务需求，构建高性能、高可靠性、高可伸缩性的系统架构迫在眉睫，借鉴和利用互联网先进的“云计算”相关技术及理念为公安信息化建设服务是必然趋势，也必将继续推动公安信息化朝着高效、稳定、良性的方向发展。关键词：海量数据，分布式，云计算，云服务，情报云，IPaaS一、一、引言，情报平台架构的瓶颈（目前核心的问题）引言，情报平台架构的瓶颈（目前核心的问题）在当前公安行业信息化建设过程中，以“大情报”平台为代表的公安信息化建设工程，作为公安信息化的重点建设项
2、目，在公安工作中已经发挥了重要作用。在“大情报”系统建设产生巨大的应用效益，发挥极其重要作用的同时，公安行业所需要处理的业务量快速增长，各类应用系统越来越多，业务需求越来复杂，现有系统存在的各种问题慢慢凸显出来。应用系统产生的海量数据：如情报文本信息、车辆轨迹及图片数据、各类人员轨迹数据，以及社会资源数据等，呈现出几何级数增长趋势。特别是各业务系统大数据量的汇聚与存储，如江苏省 320 工程车辆相关数据的汇聚将达到每年更新数百条亿，现有系统架构的存储处理能力面临着严峻的考验。同时，应用系统需要处理这些日益增长的数据，处理更多，更复杂的业务模型，比如由以前较简单的比对模型，上升为复杂的多维度的研
3、判模型、积分模型；由以前简单的全文检索，提高到海量情报文本信息的串并分析，这无疑给现有系统造成更多负载和压力，现有系统已经出现了性能瓶颈，甚至出现无法满足当前警务工作需要的现象。由于当前系统技术架构在设计上可伸缩性差，不能适应需求的快速变化，经常出现以增加硬件设施来弥补软件上的不足，导致数据中心硬件建设和管理维护成本不断上升，加上当前基本上都采用集中式存储方式进行数据存储，系统容灾能力非常有限。在资源共享及对外服务方面，仅停留在简单的请求服务、指令联动、积分结果对接的层面，不能真正意义上的实现全网资源实时共享：如目前大多应用系统为部省市三级的纵向、单向联系、数据存储独立，应用系统之间互访困难，
4、2 / 8造成信息共享程度差，对跨警种，跨地域的信息支撑反应速度慢，不能满足公安机关联合作战的要求，难以实现对跨地域数据的深度挖掘和自定义模型分析，无法开发信息资源的深层价值。所面临的这些问题，主要是因为当前的系统架构不能满足日益增长的业务发展需求。如何处理海量数据与复杂业务，如何有效的为警务工作人员提供方便、快捷的应用服务，构建具有高性能、可伸缩的系统架构成为公安信息化发展面临的一个首要问题。随着“云计算”的出现， “云”改变了全球 IT 领域发展的格局，也影响着世界各行各业信息化发展的未来。 “云计算”是在网格计算的基础上提出的一种新型计算模型，是下一代网络计算平台的核心技术，他提供安全可
5、靠的数据存储，方便快捷的网络服务和强大的计算能力，改变了传统以 PC 机为基础的生产模式，最终改变人们获取信息、分享资源和互相沟通的方式。“云计算”的出现，也为公安行业信息化建设带来新的思考。利用先进的“云计算”技术服务于“大情报”建设，是我们下一步公安信息化建设需要考虑的目标和应用方向，充分借鉴和利用这一先进技术及理念必将推动公安行业信息化建设朝着高效、稳定、良性的方向发展。二、二、互联网互联网“云计算云计算”平台的成功平台的成功随着互联网新技术的发展，以谷歌、亚马逊以及国内的淘宝为代表互联网公司，在业界创造了惊人的业绩。以淘宝为例：2010 年淘宝网注册用户达到 3.7 亿，在线商品数达到
6、 8 亿，最多的时候每天 6000 万人访问淘宝网，平均每分钟出售 4.8 万件商品；同时，以淘宝商城为代表的 B2C 业务交易额在 2010 年翻了 4 倍，是什么样的技术在支撑他们的业务快速扩张，是什么架构在支撑他们分析处理每天产生的海量数据？这当然离不开淘宝云梯分布式计算平台架构的功劳。以谷歌为例：Google 存储着海量的资讯、几百亿个网页、数十亿张图片，每天处理请求超过数百亿次，而响应时间却总是停留在 1 秒内。是什么样系统能够支撑如此大的存储量和请求量？据了解，Google 一直的目标就是构建高性能高伸缩性的基础组织来支持它们的“云计算”平台，这种平台并不需要大量昂贵的大型或巨型计
7、算机，只是由 100 万台分布在全球不同地方的 PC 级别服务3 / 8器搭建起来的系统，就是这样的系统架构完成了每天海量数据的处理。这些看起来便宜、不牢靠的 PC 级服务器，它们有机的集成却成为了全球最完善、最稳定的系统之一。在服务器采购方面，Google 从未一次性大量购买，都是有了需求再选购，有效的节约了硬件成本。以上两个成功案例可以看出，它们的能够持续健康发展，很重要的一个原因是他们把握住了新技术潮流，都拥有自己先进的“云计算”平台，其系统架构共同的特点是：系统架构都采用了分布式应用，不需要昂贵的硬件支持，但都具有高效的计算能力与强大的存储能力，以及复杂的业务处理能力，并通过简单可靠的
8、方式对外提供服务。当今世界是一个信息高速发展的时代，可以预见公安行业信息化发展在未来 几年里，数据将以每年 30%到 50%的速度爆炸式增长；另外，因业务需要也要求延长数据的保留期；此外，从海量数据中分析有价值的信息，并进行分析统计，形成公安行业各种决策的依据；这些都要求一种全新的数据存储和数据处理方案。随之我们发现了一种新的趋势，可以解决公安行业的数据存储之痛，那就是与数据存储有关的各种云计算。三、三、“云计算云计算”在公安信息化中的应用在公安信息化中的应用就目前公安信息化发展趋势，来论证公安行业信息化为何要建设自己的“云计算”平台以及如何构建“云计算”平台。前面已分析，目前“大情报”系统的
9、数据量越来越大，业务也越来越复杂，要求也越来越具体，现有的系统架构或将不能满足日益增长的需求，无法真正实现分布式应用，不能满足超大数据的汇聚与存储，无法支撑大量并发访问的复杂业务模型，多任务计算的能力有限，系统几乎没有服务共享的概念。但通过对互联网“云计算”平台分析可以得出，公安行业应用与互联网行业应用在技术层面的需求有着共同的地方，下一步的情报平台系统架构完全可以采纳互联网“云计算”技术来打造公安行业的“情报云”平台，借鉴云存储、云计算、云服务的思想，来解决公安行业系统架构所面临的问题。1 1、云存储方面、云存储方面在海量数据存储上，现有的情报平台的架构，数据基本上都采用集中式存储方式存储，
10、数据汇聚难度大、甚至存在遗漏现象、实时性差、数据检索效率4 / 8低。由于运算能力集中，导致数据库对硬件要求极高。数据存储的集中，也造成数据访问集中，这给数据库造成巨大压力，导致应用系统运行效率低下，由于容易出现这些性能瓶颈，也严重影响着数据分析研判工作。在新一代的“情报云”平台中，系统架构应该是具有以下功能：数据资源统一管理，分布式存储，具有很好的扩展空间，对单台服务器硬件要求不高，更强的容灾能力，更少的维护成本。对于一个存储系统来说，最令人担心的问题莫过于服务器硬件出现问题，所存储的数据被损坏。但是，对于分布式存储系统来说，这一问题已经“迎刃而解” 。从理论上讲，我们可以把一个分布式存储系
11、统想象成一个小型化的社会，和真实的社会一样，在这里也存在着一个起决定作用的“核心” ，这个“核心”由几台计算机组成，它们共同决定其他一些计算机的状态是否正常。例如，当某台计算机长时间没有回应系统所发出的信息时， “核心”就会判断该设备是否已经坏掉，如果“核心”中的多数计算机都做出了相同的判断，则按照多数原则，该设备就被认为已经坏掉，同时系统会发出相应的警报，该设备就会暂时停止工作，但这并不影响其他设备运行。对于每一台计算机来说，它周围的“邻居”即相邻的几台计算机，就是这台计算机的“核心” ，它们共同决定着这台计算机的状态。一旦系统中的某一台设备受损，维护人员就需要将其更换掉。对于传统的系统而言
12、，完成这一操作可能需要数小时甚至更久的时间，因为需要将原有设备中存储的数据重新写入到新接入的设备中，而分布式系统中使得这一过程仅仅需要几分钟即可完成。那么，如何进行云存储？如情报平台现在汇聚的网吧数据，使用云存储的方式，将网吧数据分散存储在各地的数据仓库中，由于分布存储的数据量较小，可以使用多台低配置的 PC 服务器来完成各地网吧数据的云存储，这样可以减少数据整合汇聚中消耗掉的大量资源和时间。同时，以云存储方式保存的数据，统一进行管理，在省级情报平台中，通过云服务的方式，可以提供给不同用户进行检索分析。2 2、云计算方面、云计算方面在业务功能处理上，现有的系统架构基本都是单线程在计算相对复杂的
13、业5 / 8务模型，特别是多维度业务模型的计算需要很长的等待时间才能完成，更复杂的业务模型根本无法处理。在新一代的“情报云”平台中，它还应该具有分布式计算的能力，能够把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。分布式计算是一种廉价的、高效的、维护方便的计算方法。在公安内网，越来越多的计算机处于闲置状态，即使在开机状态下中央处理器的潜力也远远不能被完全利用。通过内部网络，利用现有的计算机重新组合成一个相互协作的网络计算平台。那么，一些本身比较复杂的业务模型或业务逻辑，可以将其划分为大量的更小的计算部
14、分，然后把这些小的计算部分交给联网参与计算的计算机进行并行处理，最后将这些计算结果综合起来得到汇总的结果，最终提供给公安工作人员研判分析使用。比如积分模型，我们可以利用“情报云”平台将比较复杂的积分模型拆分成背景积分、轨迹积分、研判积分等小的积分模型，再交由不同计算机进行计算处理，然后再将各积分信息进行汇总，这样能够做到对关注对象进行实时积分。又比如车辆轨迹信息查询，可以同时向不同计算机发出轨迹信息查询请求，然后将不同查询结果进行汇总处理。特别是对大量情报文本信息进行处理，进行串并案分析，找出各类信息之间的联系，并对文本信息进行分类统计，就更需要有这样分布式计算能力来完成。在日常研判工作中，情
15、报平台的研判工具，往往依托于本级情报平台的研判模型配置来实现，而研判模型的搭建通常具有很强的本地工作特色，在为下级或者其他业务部门的工作人员提供研判的支撑时，往往会出现上级平台提供的研判模型，在消耗本级大量运算资源的情况下，运算出的数据结果，并不能够满足民警的深度研判或个性化研判的需求，而平台汇聚的海量资源又无法便捷的提供给下级平台进行具有本地特色的数据分析工作。在新一代的“情报云”平台中，系统在收集到不同级别，不同业务部门各种类型的研判需求后，通过平台本身的智能数学建模引擎，采用人工和系统智能结合的方式，生成对应的研判分析模型。这些模型根据使用到数据资源范围和模型提供方的权限，为其划分不同的
16、运算等级，而不同运算等级所能使用到6 / 8的分布式存储资源和运算资源会有不同的设定。同时，平台通过存储资源分布式管理引擎，搜集模型中涉及到的各类数据资源所分布的硬件，并通过运算资源的分布式管理引擎，动态按需分配的原则，将模型的运算任务，拆分成许多小的运算任务分配到不同的硬件中，待各个子运算任务完成后，由运算资源的分布引擎回收所有的运算结果，并进行分析汇总，形成最终的研判结果，返回给研判人员。在这个过程中，不同的分布式管理引擎中，都引入了任务队列式分配机制，根据需要执行的模型的任务等级以及当前硬件的情况，实现对存储和数据资源的智能按需分配。总之，将庞大的存储及计算分布在不同计算机上，有效的降低了单个计算机的压力，也就降低了对服务器高配置的要求，同时提升了计算效率，也提高了计算机的利用率，即使其中有计算机突然宕机也不会影响其他计算机正常工作，有效保障了系统的稳定性。而这些组网的计算机可以是已经被淘汰或将被淘汰的服务器，也可是公安网内的任何联网的 PC 机或服务器。3 3、云服务方面、云服务方面在信息共享服务方面，目前的系统架构提供的功能单一，对跨警种、跨地域的信息支撑反应
