《智慧公安大数据平台介绍》由会员分享，可在线阅读，更多相关《智慧公安大数据平台介绍（22页珍藏版）》请在金锄头文库上搜索。
1、智慧公安大数据平台介绍,ETL,PaaS平台(ESB企业服务总线),一体机（逻辑）,服务接口(通过战法配置),一体机（逻辑）,各类公安内部应用,公安数据,社会数据,其它数据,各种智慧城市应用,Hadoop集群,应用,可以被整合入的公安应用,全国常住人口,全国违法犯罪人员,不可以被整合入的公安应用,请求服务接口,请求服务接口,计费 引擎,公安大数据系统整体架构设计,外省数据,公安大数据价值,公安大数据应用能改变什么呢：,数据整合的来源： 本地数据（公安数据，社会数据） 全国协作请求（外地数据查询权限） 数据干预的方式： 借鉴全国协作请求内的数据应用经验，对本地数据进行实战性数据干预。,数据来源多
2、样,数据 分类,数据 抽取,数据 清洗,数据 转换,数据 归集,数据抽取过程主动干预,典型乡镇 作案手段,Pig Data flow,Mahout Data mining,Oozie Data flow,Sqoop RDB Data Collector,Flume Log Data Collector,R mining,HiveQL SQL statistics,Berkeley DB 内存数据库引擎,Zookeeper Coordination,HBase Real-time Distributed Big Table (NoSQL database),HDFS Hadoop Distrib
3、uted File System,Hadoop Installation, Configuration, Monitoring, Alerting & Deployment,Map/Reduce on-disk computation framework,Oracle 11G,大数据软硬件加速,一体机性能领先,查询或分析速度快：到底有多快呢？ 算法越复杂，速度越快,十秒: 单台数据加速设备, 10秒内完成各类查询,100秒完成各类自定义条件数据碰撞。,实际应用： 17万个身份证，同时跑同旅馆同房间，结果67万条记录（这个去重过了），300秒，旅馆数据2.3亿多,大数据软硬件加速,情报协作：由新
4、疆巴州市公安局发起，16省及地市响应 分享数据查询权限，分享数据应用经验,战法共享,数据共享,应用模式多样,什么是的服务：高级查询，数据碰撞，关联查询，关系查询等，各种查询技术整合后的高级请求服务。,战法=服务,目前累计过百个技战法 共享查询过百亿条数据 实战数据应用经验过百种,每一种战法都可以作为一种服务对外发布,可以整合的公安的服务（部分资源）,随着犯罪形态和手段的不断变化，战法模型本身也需要不断地进化。动态战法配置器无需书写任何的程序代码，而只需选择实体，拖拽关系和设置参数，系统会自动生成相应的后台程序。,不仅提供服务整合,还有很强的可视化分析能力,需要通过ESB辅助的请求服务,ETL,
5、PaaS平台(ESB企业服务总线),一体机（逻辑）,服务接口(通过战法配置),一体机（逻辑）,各类公安内部应用,公安数据,社会数据,其它数据,各种智慧城市应用,Hadoop集群,应用,可以被整合入的公安应用,全国常住人口,全国违法犯罪人员,不可以被整合入的公安应用,请求服务接口,请求服务接口,计费 引擎,系统整体架构设计,外省数据,对于不能整合进入的公安应用,可以采用ESB整合,交警 异步流水日志 流量控制 故障隔离 全局运行监控 运行分析报告 系统安全认证 灵活配置动态刷新,高速服务公司 服务规范管理 服务组合 服务分组和优先级控制 服务权限控制 服务版本控制 消息生存期限控制 存储转发,E
6、SB要求：安全、稳定、高效、便捷,高速公路 开放架构 无单点故障 无瓶颈 线性扩展 永不停机 接口完备 非侵入式,将发布的服务与各类请求服务进行组合,PaaS服务发布监控平台,实时图 当前ESB总流量实时图 当前系统成功、失败、异常的交易数以及所占总交易量的比例展示 当前系统、ESB、provider的平均交易时间展示 当前交易量最大的topn个服务系统的交易量展示 当前交易量最大的topn个渠道的交易量展示 当前ESB交易并发数 报表 本日ESB总流量 本日ESB平均交易时间 本日ESB最大交易时间 本日ESB最小交易时间 本日ESB交易成功率等 告警 配置指标阀值 支持邮件、短信等告警,PaaS平台应用监控,PaaS系统报表查询,PaaS平台安全认证设计,PaaS平台权限管理设计,
