大数据应用工程中心介绍v2.0

《大数据应用工程中心介绍v2.0》由会员分享，可在线阅读，更多相关《大数据应用工程中心介绍v2.0（72页珍藏版）》请在金锄头文库上搜索。

1、大数据应用工程中心介绍 中国科学院重庆绿色智能技术研究院 共建单位：中国科学院、国务院三峡办、重庆市人民政府 研究领域：电子信息、先进制造、环境工程 重庆院历程 重庆市政府常务会批准建设中国科学院重庆绿色智能技术研究院 2011年02月14日 中国科学院不重庆市科技合作座谈会暨签约仪式在北京丼行，在中国科学院院长白春礼， 重庆市市长黄奇帄的见证下，中国科学院副院长施尔畏和重庆市副市长吴刚共同签署共 建中国科学院重庆绿色智能技术研究院协议 2011年03月13日 中国科学院重庆绿色智能技术研究院在重庆北部新区汉国中心揭牌，标志着研究院启劢 科学研究工作 2011年06月08日 中国科学院重庆绿色

2、智能技术研究院在两江新区水土高新园奠基。重庆市市长黄奇帄， 中国科学院副院长施尔畏，国务院三峡办副主任雷加富等出帨奠基仪式。中国科学院副 院长施尔畏，国务院三峡办副主任雷加富，重庆市副市长吴刚签署三方共建 2011年11月28日 中编办作出批复，同意设立中国科学院重庆绿色智能技术研究院，这标志着重庆研究院 正式进入中国科学院序列，成为重庆市首个中国科学院直属研究机构 2012年07月28日 重庆市委书记孙政才规察中国科学院重庆绿色智能技术研究院 2013年04月09日 中国科学院院长白春礼规察中国科学院重庆绿色智能技术研究院 2013年04月19日 中国科学院重庆绿色智能技术研究院入驻两江新区

3、水土高新园 2013年09月09日 重庆院一期园区 占地： 一期330亩 综合科研楼： 7万平 总建筑面积： 一期11万平 位置： 重庆两江新区 科研与产业化结合 产业化控股和参股的公司8家 重庆德领科技有限公司 重庆市惠信资产管理有限公司 重庆德科黔龙投资有限公司 重庆墨希科技有限公司 重庆三一机器人有限公司 重庆中德玉材科技有限公司 重庆谨诺科技有限公司 重庆德谋生产力促进中心有限公司 大数据大数据 应用工程中心应用工程中心 大数据应用工程中心定位 2013-12-10新闻联播新闻联播 借助大数据，城市更“智慧”借助大数据，城市更“智慧” 以自主知识产权大数据平台为基础，对智慧城市提供以自

4、主知识产权大数据平台为基础，对智慧城市提供 研究研究 开发开发 解决方案解决方案 的一体化工程服务。的一体化工程服务。 大数据应用工程中心概要 全数据链的综合研发全数据链的综合研发+系统集成：系统集成： 成熟开源组件成熟开源组件+自主研发验证自主研发验证+客户需求定制客户需求定制 大数据平台简介 平台基本概念 9 外部门户外部门户 内部门户内部门户 平台管理系统 食品溯源 舆情监控 车辆机械 环境监控 智慧城市应用群 应用系统应用系统 虚拟化虚拟化 平台平台 大数据大数据 平台平台 应用服务器 数据处理 应用服务器 DB服务器 应用服务器 DB服务器 内存内存 CPU DB服务器 数据存储 内

5、存内存 CPU 硬盘硬盘 内存内存 CPU 硬盘硬盘 内存内存 CPU 硬盘硬盘 内存内存 CPU 硬盘硬盘 系统状态监控 虚拟化管理 大数据管理 资源管理 应用监控 数据管理 权限管理 安全管理 平台产品介绍 10 10 应用应用 中间件中间件 分布式分布式 系统系统 大数据大数据 一体机一体机 平台管理系统 基于LINUX内核的个性化定制操作系统 食品 车辆机械 环境监控 舆情服务 系统状态监控 虚拟化管理 大数据管理 资源管理 应用监控 数据管理 权限管理 安全管理 多路CPU 大容量内存 多级存储 RDMA 大规模传感 器通信模块 分布式内存缓存 持久化机制 IO控制 数据结构, 分布

6、式数据库 索引算法 类SQL支持 GIS支持, 分布式文件系统 分布式算法,副 本控制,协议支 持,多级存储, 智慧城市应用群 分布式系统管理 锁机制 节点管理 数据压缩 模块 数据加密 模块 集群间 联动 应用系统共 通支持模块 互联网数据 处理模块 物联网数据 处理模块 平台产品介绍 平台管理系统 平台优点 高性价比高性价比 使用通用硬件比使用存储设备节省30%以上 便捷便捷 平台管理通过专用图形化管理系统，操作便捷 通过挂载立即使用应用系统与平台间的文件交互而无需修改应用 易扩展易扩展 在管理系统上简单操作即可通过增加节点来提升存储容量及性能 平台存储量从10TB扩展到10PB也只需简单

7、增加节点即可完成 平台性能随节点增加线形增长 整体一站式管理整体一站式管理 管理作为前端主机的web/DB服务器(可为虚拟机) 管理大数据平台的整体配置/硬件/组件/运行状态等 丰富的管理功能丰富的管理功能 Wizard向导功能：初期安装，节点追加等 配置管理：平台的初期设定及修改等 运维管理：监控、报警等 数据管理：文件及数据的访问控制，副本管理，内容检索等 功能更强功能更强 价格更低价格更低 响应更快响应更快 服务更好服务更好 传统传统IBM+Oralce+EMC架构架构 VS 大大数据平台数据平台+虚拟虚拟化平台化平台 = VSVS 客户例-警务云的大数据平台 大数据集群大数据集群 警务

8、云 管理系统 平台管 理网络 后台数 据网络 公安等 内网 终端用户终端用户 现有的70个应用系统个应用系统 文档/视频等 非结构化数据表 警用手持机警用手持机 外部外部VPN连接连接 内网用户内网用户 基于大数据的新应用基于大数据的新应用 数据收集 (Oracle,SQL Server,日 志，文档，视频等) 数据收集 处理结果 处理结果 用户使用 用户使用 客户例-警务云的大数据平台 HDFS主节点 HDFS主节点(备) 集群Meta数据 数据及计算节点(HDFS or 独自DFS, Hbase, MapReduce) 数据收集集群 -Sqoop(RDB转换) -Flume(日志抓取) -

9、文件迁移 数据源应用 Hbase主节点 Zookeeper Hbase主节点(备) Zookeeper(备) 数据利用应用 Hive集群 (非结构化数据 的SQL处理) 大数据平台整体监控 -集群各服务状态 -任务进度 -数据管理等 高级内容处理集群 -行为分析 -Nutch(海量文档内容检 索) 其他数据工具 -Pig -ETL tool等 客户例-北斗导航平台 作为移动位置服务的后端平台提供文件及数据的存储和访问 客户例-北斗导航平台 初期系统规模: 16台机架式服务器（其中8台用于大数据集群） 初期数据规模: 100T 20亿个文件(30KB/个的地图图片及500KB/个的卫星实景 照片

10、) 数十万台车的GPS信息(2条/分) 用户上传的照片等文件 系统性能： 地图访问并发：受限于互联网带宽(平台内部支持万兆 数据交换) GPS数据上传并发：每数据库节点1400条/秒 客户例-北斗导航平台部分设备 客户例-采油设备综合监管平台 用分布式数据库平台处理来自物联网传感器的海量数据 客户例-采油设备综合监管平台 初期系统规模: 2千口新式油井 (国内油井数7万口) 初期数据规模: 容量:2TB+, 数据条数:二十亿条以上 (每口井每分发送2次1K数据包，保存1年以上) 系统效果： 提高生产效率及管理水平 中短期故障(结蜡，卡泵，短路，漏液等)自动分析， 中长期生产经营信息(产量，电力

11、成本控制等)自动分析 解决方案 物流综合服务平台 物流综合服务平台功能示意 2014年6月2日 中国科学院重庆绿色智能技术研究院 22 北斗卫星/无线基站 定位系统 货物入园 园内周转 集装箱出园 散件货品 出园 集 政府统一管理服务中心政府统一管理服务中心 车辆车辆/货物追迹管理货物追迹管理 交易交易/手续服务系统手续服务系统 面向货主、收货人、物流者、管理者，面向货主、收货人、物流者、管理者， 基于卫星定位等传感器及大数据技术，基于卫星定位等传感器及大数据技术， 提供物流相关综合服务的一体化平台。提供物流相关综合服务的一体化平台。 物流综合服务平台架构示意 外部门户外部门户 内部门户内部门

12、户 物流车辆追迹管理 物流仓储管理 货品追迹 场内视频监控 物流园大数据平台应用群 应用系统应用系统 中科中科 重庆重庆 大数据大数据 平台平台 应用服务器 应用服务器 应用服务器 分布式数据库分布式数据库 2014年6月2日 23 中国科学院重庆绿色智能技术研究院 分布式文件系统分布式文件系统 平台 管理 系统 物流园物流园 管理部门管理部门 某中型专业某中型专业 物流公司物流公司 某连锁超市某连锁超市 物流子公司物流子公司 某货运某货运 代理机构代理机构 园区内园区内 商贸商家商贸商家 外部外部 发货人发货人 外部外部 收货人收货人 统一平台，为多个发货人、承运人、收货人提供综合服务。统一

13、平台，为多个发货人、承运人、收货人提供综合服务。 平台优点概述 统一平台，多种服务：基于对货物及运输工具 管理的统一平台，面向所有相关业者进行服务。 提高物流服务水平：基于物联网技术进行物流 精细化管理。 高性价比：基于重庆中科院的大数据平台提供 服务，平台初期建设只需对业务应用进行开发。 快速开始服务：只需开发业务应用无需考虑基 础软件、硬件等，平台投入使用周期短。 高扩展性：为同种业者提供服务只需提供新账 号（物流业者需追加传感器）。 2014年6月2日 中国科学院重庆绿色智能技术研究院 24 物流业者应用概要 2014年6月2日 中国科学院重庆绿色智能技术研究院 25 功能1:车辆调度

14、实时管理 车辆调度 车辆监控 车辆诊断 车辆升级 车辆维护 物流车辆 使用计划 计划管理 物流车辆 使用状况 物流货物调配信息 装车，卸车货物信息 车辆入场，出场信息 中转仓储信息 车辆运作状况 的远程监控 功能2:车辆远程监控 安装北斗GPS导航系统 及无线定位系统 功能3:车辆诊断，维护，升级 基于车辆监控信息，对 现有车辆使用状况进行 分析，评估。及时对需 要维护升级的车辆进行 处理。 位置信息 载荷信息 工作状态信息 驾驶员信息 等等 建筑工地安全监控平台 建筑工地安监平台功能概要 塔吊监控 通过传感器实时监控塔吊的起吊重量，起吊力臂长短，起吊高度等数据。 监控平台对传回的数据进行分析

15、，对不符合安全作业的操作提出警告 升降机监控 系统对升降机的载物重量，升降速度等进行监控，对于超出正常范围的 监控数据实施报警 噪音监控 实时监控工地设备发出的噪音，可视化噪音分布，为整治噪声污染提供 依据。对超出指标的噪声数据实施报警 渣土车监控 通过车载GPS及其他传感器对渣土车进行监控，实时监控渣土车形式路线， 载重等信息。对超出指定行动范围及规范的渣土车进行报警 场内视频监控 实时视频监控，记录施工现场的视频信息 2014年6月2日 中国科学院重庆绿色智能技术研究院 27 重庆市某中心城区使用中的升降机管理，工地视频监控，噪音监重庆市某中心城区使用中的升降机管理，工地视频监控，噪音监

16、控等分散系统，正在计划进行整合至重庆中科大数据平台。控等分散系统，正在计划进行整合至重庆中科大数据平台。 作为整体工地安全监控平台，增加功能，增强性能提升用户体验。作为整体工地安全监控平台，增加功能，增强性能提升用户体验。 建筑工地安监平台优点-1 整合建筑工地各种监控（升降机、塔吊、视频、噪音、 渣土车等）到统一平台： 各种角色使用工地监管统一门户 统一数据存储，综合分析，多种展示 各区县，局办使用平台时只需增加传感器终端 扩展功能时只需追加相应程序模块，不需停服务 2014年6月2日 28 中国科学院重庆绿色智能技术研究院 建筑工地安监平台优点-2 客户无需购买额外服务器及数据库软硬件 全B/S架构，任意地点自由访问 整合多个子系统为综合工地监控管理平台 一元化的监控管理及数