《云计算与大数据技术研讨》由会员分享，可在线阅读，更多相关《云计算与大数据技术研讨（52页珍藏版）》请在金锄头文库上搜索。
1、应需而变融以致远云计算与大数据的技术研讨1目录大数据系统演进路线大数据的目标与挑战123大数据的架构及实践4云计算时代的大数据2大量用户 群体海量计算大量数据管理数据分析大数据定义-不同行业的不同声音3云时代的大数据特点海量敏感数据海量敏感数据海量敏感数据海量敏感数据海量敏感数据海量敏感数据海量敏感数据海量敏感数据数据多样性数据多样性数据多样性数据多样性数据多样性数据多样性数据多样性数据多样性沙里淘金沙里淘金沙里淘金沙里淘金沙里淘金沙里淘金沙里淘金沙里淘金数据量巨大、数据敏感视频监控、人口数据信 息化、网络化犯罪使公 安系统数据量急剧增长， 进入XB时代，且均为涉 密数据结构化数据、半结构化
2、数据和非结构化数据数据类型早已不是单一 的文本形式，音频、日 志、视频，对存储能力 提出了更高的要求结构化数据、半结构化 数据和非结构化数据数据类型早已不是单一 的文本形式，音频、日 志、视频，对存储能力 提出了更高的要求沙里淘金，价值密度低一部数小时的监控视频， 可能有甠的信息仅仅只 有一两秒。如何迅速 “提纯”是亟待解决的 难题沙里淘金，价值密度低一部数小时的监控视频， 可能有甠的信息仅仅只 有一两秒。如何迅速 “提纯”是亟待解决的 难题实时获取需要的信息人口流动、证据消亡越 来越快，如何在第一时 间获取破案的信息，制 止犯罪是又一个新的挑 战实时获取需要的信息人口流动、证据消亡越 来越快
3、，如何在第一时 间获取破案的信息，制 止犯罪是又一个新的挑 战信息时效性信息时效性信息时效性信息时效性信息时效性信息时效性信息时效性信息时效性4信息采集系统全景介绍政府机构 （医保，社保）短信通话记录数据分类数据来源运营商存 储 区 域业 务 平 台汇聚、分析、入库医院大型企业交通信息视频监控Email社保、医保、 住宿、交通视频监控网络信息精确查询人际关系、行为分 析跟随分析、人脸 识别通话记录、住宿、 交通统计报表短信、Email内容 过滤等其他信息统计分析内容查询数据导入5大数据在各行业的应用互联网社交网络B 2C业务金融能源媒资地质勘探科研智能电网非线编辑后期制作卫星探测基因工程电子支
4、付票据归档6目录大数据系统演进路线大数据的目标与挑战123大数据的架构及实践4云计算时代的大数据7公安信息网公安信息网公安信息网公安信息网互联网互联网互联网互联网监控管理监控管理监控管理监控管理情报信息情报信息情报信息情报信息网监网监网监网监技侦技侦技侦技侦人口管理人口管理人口管理人口管理 刑事案件刑事案件刑事案件刑事案件1998199919981999 提出设想提出设想提出设想提出设想提出设想提出设想提出设想提出设想2000200520002005 金盾一期金盾一期金盾一期金盾一期金盾一期金盾一期金盾一期金盾一期20062010 金盾二期金盾二期金盾二期金盾二期1998年公安部为 实现“科技
5、强 警”，提出建设 “金盾工程” 。重点建设信息通信 网络，及大部分应 用平台等工程，完 善公安信息资源库 及主干网全面完成基础应用系 统，全面实现公安通 信多媒体，相关业务 信息共享治安管理治安管理治安管理治安管理交通管理交通管理交通管理交通管理经济犯罪经济犯罪经济犯罪经济犯罪刑事犯罪刑事犯罪刑事犯罪刑事犯罪出入境管理出入境管理出入境管理出入境管理禁毒管理禁毒管理禁毒管理禁毒管理 互联网监管互联网监管互联网监管互联网监管公安信息化历史回顾Page 78多级结构多级结构多级结构多级结构情报信息情报信息情报信息情报信息海量数据海量数据海量数据海量数据多警种业务多警种业务多警种业务多警种业务多社会
6、单元与多社会单元与多社会单元与多社会单元与 服务服务服务服务与多部门及场所协同， 如银行、民航、社保、 酒店、网吧等治安管理、边防管理 、刑事侦查、出入境 管理、消防五级结构、庞大 网络，统一规划 管理以情报信息收集 与挖掘为基础实 现信息共享.多业务系统及对互 联网的监控管理加强信息化建设，提高警 务震慑。公安信息化建设特点Page 89监管人员 信息系统平安工程禁毒信息系统金盾工程出入境管理 存储服务器科技强警工程治安管理交管系统刑侦系统警务综合 应甠平台?缺乏统一的标准、规划和管理，软硬件资源无法共享，“信息孤岛”严重；?各个系统内部的应甠体系，多为“烟囱式”架构，一平台一应甠，资源浪费
7、、维护效率低；?系统越来越复杂和庞大，难以支撑未来公安云的愿景！技侦系统公安消防交管机房a警务业务系统互联网监察系统其它系统机房n情报信息平台“烟囱式”应甠系统架构“信息孤岛”目前全国公安信息应甠的种类有上百个，应甠系统总数上千个，网站总数超过1.4万个公安信息化建设现状Page 9HUAWEI TECHNOLOGIES CO., LTD.Page 10公安信息化进程未来公安云1993年公安部启动 建设 截至2004年6月， 公安部一级网和二 级网覆盖率均辛到 100；三级网覆 盖率辛到88。接 入网覆盖率辛到43 。中国犯罪信息中 心（CCIC） 公安部、科技部 2004年第一批21个 科技
8、强警示范建设 城市 两年来建成了覆盖 所有分局，科、所、 队的三、四级公安 专甠信息网络 每百名民警拥有入 网计算机台数平均 64台，92%的一线 民警配备了移动电 台或警务通1998年公安部为实 现“科技强警”， 增提出建设“金盾 工程”。 目的是实现以CCIC 为核心，主要完成 公安基础通信设施 和网络平台建设。二期工程主要任务 是完善三级网及延 伸终端建设，全面 完成基础研究部门 所需要的应甠系统， 全面实现公安工作 通信多媒体化，业 务信息共享，公安 工作信息化，周期 暂定为两年十二五规划要求，未来公安行业信息化工作的重心将向已建系统的全面整合应甠、数据集中 的完善、网络安全的加强等方
9、面转移科技强警工程金盾工程一期 （1999-2002）金盾工程二期 （2002-2010）平安工程 2004-至今21个城市陆续开始 平安城市试点 公安部进一步提出 了建设“3111试点 工程”，选择22个 省，在省、市、县 三级开展报警与监 控系统建设试点工 程公安业务系统公安信息化目标：未来属于云计算Page 10HUAWEI TECHNOLOGIES CO., LTD.Page 11ITIT平均资源利甠率平均资源利甠率60%13个月13周传统IT平台云平台传统平台云平台ITIT终端运维效率终端运维效率平均业务上线周期平均业务上线周期耗电量耗电量213W62W云计算终端传统PC节省71%2
10、-4小时3分钟云终端传统PC传统IT平台数据可被甠户 自產存取云平台数据集中管控数据安全数据安全传统IT平台云平台 甠户体验甠户体验需购买硬件需安装软件需上门运维需关注OS全部Web实现只需关注业务公安行业是一个“移动性、突发性、紧急性、工作繁”的行业。相应地，公安IT必须有高智慧、高水 平、高技术和高投入作为强大的支撑云计算给公安行业信息化带来全新的价值Page 11HUAWEI TECHNOLOGIES CO., LTD.Page 12向云计算迁移的挑战公安云能解决什么问题信息部门对云的顾虑无法确定选择何种云技术路线众多国外产品无法满足公安信息安全要求担心被厂商锁定多个应用难以协同工作?能
11、够解决目前IT计算/处理的瓶颈问题?能够提高计算能力?能够提高资源利甠率、减少浪费?能够快速地协调内部资源?能够与公安业务特性结合，提高对公安业务的支持能力?解决扩容的难题（降低扩容的复杂性、提高速度）公安行业实施云计算的一些挑战Page 1213公安视频监控存储平台云化的挑战智能分析、大数据处理视频资源对公安的重要性日益提高，图 像资源的智能分析可大幅提高视侦效率。大联网的蓬勃发展正在推进的视频监控图像大联网，将带来 海量的图像资源，多警种、跨地域、跨部 门共享图像资源，需要大容量、高性能和 高扩展性的存储方案。14数据库扩展性存在一定的限制SANSAN存储?Share-disk架构，IO扩
12、展能力有限，不利于在海量数据下的访问（如：OLAP）?数据库集群，实现高可靠，但是需要很复杂的全局资源管理才是保证高可靠下的一致性，这样就带来了集群越大，交互越多，访问性能越低。例如：传统数据库在4个集群节点效果最好数据库集群传统部署架构15传统存储无法满足容量、性能同步扩展传统存储构建模式控制框硬盘框扩容节点架构演变架构演变分布式存储架构X86存储服务器交换机.扩容节点16传统管理方式无法实现统一管理省机构市/地区机构市/地区机构市/地区机构市/地区机构数据集中存 储，汇聚省机构市机构市机构地区机构分散、跨地 域建设部署硬件设备以及软件来自不同厂商，管理复杂,烟囱建 设不利于数据共享以及数据
13、安全性DELLHUAWEI应 甠 层IBMEMCHDSDELL服 务 器存 储应甠1应甠2应甠3资 源 池 分 布 式 部 署17海量数据增长，投资成本增高SAN大数据演变计算和内存密集型处理高速交换通道存储密集型从传统关系型数据库演变到支撑海量存储分布式数据库，大部分解决方案是采用更高性能的硬件（例如：CPU,内存,采用Infiniband交换网络，高密处理存储等），扩容或者升级系统带来了高成本，不利于对海量低价值数据的存储。关系型数据库 是按照单核 *XXXX万元计 算购买价栺18目录大数据系统演进路线大数据的目标与挑战123大数据的架构及实践4云计算时代的大数据19A 构建基础B 新系统
14、、新 业务云化试点C 整合提高能力 /数据灾备 建设云计算资源平 台- 以信息大集中、整 合全市IT资源为目 标积极建设云计算 资源平台 优先试点新系统 和新业务在云计 算平台上的运行- PGIS- 人口系统- 平安城市 建设/整合各地市云 计算平台，实现全 市数据灾备能力- 建设各地市云计算 资源平台- 打通市、区两级IT 软硬件资源- 实现市、区间业务 数据备份/容灾演进原则：產点到面，稳步推进，新业务试点，规划利旧D 整体云化 整体云化、业务整 体迁移- 实现全市统一的IT 云平台，全面实现 公安行业业务云化公安云计算建设演进路线建议Page 1920第一阶段 ?构建公安云计算平台，提供
15、 云计算基础资源 ?完成公安系统云计算建设规 划第二阶段?在公安云计算平台上部署PGIS、 人口系统、平安城市等业务 ?在试点地市构建云计算平台，实 现与公安云计算平台类似功能 ?在公安实现全市业务数据的备份 能力PGIS WinLinux共享平台 平安城市 WinLinux数据备份第三阶段?区域推广云计算建设 ?建设市级灾备中心 ?已有业务逐步向云计算平台迁移 ?部署桌面云应甠PGIS WinLinux共享平台 平安城市 WinLinux桌面云公安云计算建设节奏建议Page 2021目录大数据系统演进路线大数据的目标与挑战123大数据的架构及实践4云计算时代的大数据22华为在大数据方面不仅仅
16、是平台提供商大数据应甠开发提供商大数据系统集成商大数据平台提供商大大大大 数数数数 据据据据 管管管管 理理理理 服服服服 务务务务 提提提提 供供供供 商商商商华为除了具有强大的自主研发实力外，还具备丰富的集成优化第三方平台的经验，可根 据用户的实际需求，打造适合用户自身特点的大数据服务体系；23连横连横连横连横、合纵合纵合纵合纵、敏捷敏捷敏捷敏捷华为华为华为华为FusionCloudFusionCloudFusionCloudFusionCloud云计算战略云计算战略云计算战略云计算战略云PadPhone网络TCSTBPCFusionAcces s FusionCube虚拟化FusionSphere物理资源管端连横：连横：FusionSphere/FusionSphere/FusionSphere/FusionSphere/FusionSphere/FusionSphere/FusionSphere/FusionSphere/云操作系统云操作系统合纵：合纵：FusionCu
