【精编】国家安全监管总局课件大数据与安全生产

《【精编】国家安全监管总局课件大数据与安全生产》由会员分享，可在线阅读，更多相关《【精编】国家安全监管总局课件大数据与安全生产（111页珍藏版）》请在金锄头文库上搜索。

1、 大数据与安全生产综述 张瑞新博士 教授 国家安全监管总局通信信息中心主任国家安全监管总局信息办副主任2015年5月12日 2014年12月12日 总局党组书记 局长杨栋梁主持召开党组 扩大 会议 提出 建立安全生产统一数据库 实现 来源可查 去向可追 责任可究 规律可循 贯彻落实总局栋梁局长的指示 2015年4月2日 国务院办公厅印发 关于加强安全生产监管执法的通知 国办发 2015 20号 要大力提升安全生产 大数据 利用能力 加强安全生产周期性 关联性等特征分析 做到检索查询即时便捷 归纳分析系统科学 实现来源可查 去向可追 责任可究 规律可循 贯彻落实国办20号文件精神 云计算 移动互

2、联网 智慧城市 大数据 物联网 社交网络 社会管理 大数据时代已经到来 互联网思维 大数据等信息技术正在改变 汇报提纲 3 云计算 移动互联网 物联网 社交网络 电子商务 即时通信等技术形式的涌现 推动人类从现实社会快速切换到网络社会形态 形成了人类不同于传统生活方式的虚拟生活方式 一 信息时代的特征 移动互联网 社交网络 社交网络 网上教学 门户网站 网游 网上购物 互联网金融 三 大数据时代 一 信息时代特征 1PB 1024T一年国产电视剧 1 7万部 容量 1EB 1024PB 5EB相当于至今全世界人类所讲过的话语1ZB 1024EB 全世界海滩上的沙子数量总和 1TB 1024G一

3、家大型医院X光图片 1GB 1024M一部广播级电影 1MB 1024K50万个汉字 1KB 1024B500个汉字 Megabyte MB Kilobyte KB Gigabyte GB Terabyte TB Petabyte PB 三 大数据应用 二 数据的概念 上传30小时视频130万人评论 200万条搜索 27 7万人登录600万条信息发布 2 04亿封邮件 全球产生7 5PB数据 互联网上一分钟 三 大数据应用 二 数据的概念 三 互联网 互联网 新的媒体形式的出现 起源上世纪90年代中后期应用领域邮件 门户网站 电子商务政府 企业大规模信息化建设 新的商业模式的出现 互联网开始颠

4、覆传统产业之旅 互联网 让传统行业插上互联网的翅膀 互联网可以 互联网正在改变物质之上的所有组织形态 改变物质生产的组织方式 信息技术不是在融合 而是在融化 重构和颠覆其他产业形态 三 互联网 互联网 传统模式 每个业务需要配备独立的设备 服务器 存储等 计算资源难以共享 孤岛现象 资源浪费 办公 人事 财务 网站 虚拟机 虚拟机 虚拟机 虚拟机 云计算模式 把计算资源合并成一个大的计算资源池 云计算中心 云计算中心根据各个业务需要 提供相应的计算能力 四 云计算 云服务 云计算的目标是让用户像用电 用水一样使用信息基础设施 各自配备小发电机 电厂集中发电 云计算的本质是把计算能力的专用服务变

5、为了公用服务 电网集中供电 四 云计算 云服务 虚拟化 一拆多 分布式 多合一 虚拟拆分 物理计算机 虚拟机 虚拟整合 物理计算机 虚拟机 四 云计算 云服务 五 物联网 物联网 TheInternetofthings 的概念是在1999年提出的 又名传感网 物物相连的互联网 把所有物品通过射频识别 RFID 红外感应器 全球定位系统 激光扫描器等信息传感设备与互联网连接起来 进行信息交换和通讯 实现智能化识别 定位 跟踪 监控和管理 国际电信联盟曾描绘 物联网 时代的图景 当司机出现操作失误时汽车会自动报警 公文包会提醒主人忘带了什么东西 衣服会 告诉 洗衣机对颜色和水温的要求等等 人类的网

6、络社会行为 包括聊天 购物 搜索 点赞等 产生了诸如日志 图片 音频 视频等规模巨大 类型多样的存贮在各类介质上的数据 人类由此进入大数据时代 六 大数据 单日信息产生量超过50TB 存储量40PB 淘宝 国家电网 到2012年10月资讯系统累计产生大资料2PB 第一医院所存资讯2008年130TB 预计2015年1PB 高峰期每秒100万次回应请求 联通 用户上网记录83万条 秒 对应信息量3 6PB 年 每天产生信息超过10TB 现已存20PB 预计该基因库最终将达1EB 每天1千亿次服务调用 55万亿次计算 300TB存储量 公交一卡通每天刷卡4000万次地铁1000万次 每秒产生2千元

7、的交易额 累计各种信息达到PB 中山大学 新浪微博 华大基因 每天约处理60亿次搜索请求几十PB数据 百度 腾讯 交通银行 北京公交 每日约处理600G数据 存量信息超过70TB 京东商城 农夫山泉每天从销售其矿泉水的超市回传10张照片 每月3TB 三 大数据应用 六 大数据 核心技术 自然语言处理语义分析机器学习垂直搜索 综合门户 新闻门户 交友社区 娱乐网站 音乐网站 体育网站 网上购物 旅行网站 网上招聘 网络游戏 新闻评论博客博文讨论话题音视点播网购记录网上简历 交互信息痕迹信息 民生民意 生活习惯 网民喜好 关注焦点 人群分类 人性分析 行为分析 全民记录记录全民 六 大数据 大数据

8、技术 在海量 无序的数据中 洞察规律 发现价值 数据的价值不在于数据本身在于数据之间的关联关系 大数据将成为国家竞争力的重要标志 与矿产 土地 石油一样成为国家的基础性战略资产 提高国家治理体系和治理能力现代化要靠大数据 六 大数据 汇报提纲 3 一 大数据概念溯源 2001年 MetaGroup Gartner的前身 指出 随着网络及其应用 电子商务等 发展 数据将呈现出爆炸式增长的趋势 并提出3DDataManagement的技术预测 即DataVolume DataVelocity和DataVariety 2012年 Gartner的IT技术发展趋势战略报告指出 大数据正在逼近 Tipp

9、ingPoint 爆发点 40 以上的企业开始大数据方面的投资 一 大数据概念溯源 2008年9月4日 自然 Nature 刊登了一个名为 BigData 的专辑 从互联网技术 网络经济学 生物医药等多个方面探讨了大数据的挑战与机遇 2009年7月O ReillyMedia出版了名为 BeautifulData 介绍大数据相关的技术 2009年10月微软为纪念JimGray 出版了 第四范式 数据密集的科学发现 认为科学研究范式的发展 理论科学 实验科学 计算机仿真 数据科学 2011年2月11日 Science刊登了一个名为 DealingwithData 的专辑 联合Science Sig

10、naling Science TranslationalMedicine和ScienceCareers推出相关专题 讨论数据对科学研究的重要性 2012年4月 欧洲信息学与数学协会会刊ERCIMNews出版专刊 BigData 讨论了数据管理 数据密集型研究等问题 21世纪是数据信息大发展的时代 移动互联 社交网络 电子商务等极大拓展了互联网的边界和应用范围 各种数据正在迅速膨胀并变大 互联网 社交 搜索 电商 移动互联网 微博 物联网 传感器 智慧地球 车联网 GPS 医学影像 安全监控 金融 银行 股市 保险 电信 通话 短信 都在疯狂产生着数据 二 大数据概述 想驾驭这庞大的数据 我们必

11、须了解大数据的特征 地球上至今总共的数据量 在2006年 个人用户才刚刚迈进TB时代 全球一共新产生了约180EB的数据 在2011年 这个数字达到了1 8ZB 市场研究机构预测 到2020年 整个世界的数据总量将会增长44倍 达到35 2ZB 1ZB 10亿TB 随着信息不断膨胀与爆炸 已经积累到了引发变革的程度 更多的信息增长速度也在指数级加快 1TB 1024GB1PB 1024TB1EB 1024PB1ZB 1024EB 二 大数据概述 大数据无法在容许的时间内 用常规软件工具对其内容进行抓取 管理和处理的数据集合 大数据规模的标准是持续变化的 大数据当前泛指单一数据集的大小在几十TB

12、和数PB之间 维基百科定义 三 大数据应用 二 大数据概述 2008年9月美国 自然 杂志刊登了一个名为 BigData 的专辑 首次提出大数据 BigData 概念 大数据 或称巨量资料 是指由数量巨大 结构复杂 类型众多的数据所构成的数据集合 必须通过特殊化处理分析才能形成有规律 可预测的信息服务能力 二 大数据概述 二 大数据概述 4V特征 数据类型繁多Variety V 数据体量巨大Volume V 处理速度快Velocity V 价值密度低Value v 数据存储量大 计算量大 Volume 预计到2020年 中国产生的数据总量将是8 5ZB 全球的数据总量预计将达到40ZB 若以光

13、盘存储 其总重量相当于424艘满载的尼米兹航空母舰 2020年35ZB 光盘重量 43 078 400吨 424艘尼米兹号航母重量 101 600吨 数据来源多 格式多 Variety 大数据类型分为结构化数据和非结构化数据 结构化数据是指用数据或统一的结构加以表示 如数字 符号 非结构化数据是指无法用数字或统一的结构表示 如文本 图像 声音 网页 地理位置信息等 这些多类型的数据对数据的处理能力提出了更高要求 大数据的来源 互联网快速发展 社交网络成熟移动终端普及物联网 传感器 监控设备云计算 主要三类 人和人之间 人和物 机器 之间 物和物之间数据量骤增 数据来源多样 主动 被动和自动方式

14、产生数据 数据产生方式的巨大变化导致大数据的产生 移动互联网 智慧城市 物联网 电子商务 社交网络 iPhone iPad NoteBook PC 条码 RFID 视频采集设备 GPS终端 二维码 淘宝 微博 百度 腾讯 华大基因 国家电网 联通 北京公交 价值密度低 Value 浪里淘沙又弥足珍贵 一部1小时的视频 在连续不间断的监控中 有用数据可能仅有一二秒 如何通过强大的机器算法更迅速地完成数据的价值 提纯 成为目前大数据背景下亟待解决的难题 监控卡口1 监控卡口2 监控卡口3 监控卡口4 1亿 天车行轨迹 2300万车辆信息 9000千万人口 3000万驾驶员 卡口信息 牌号 鲁F12

15、3 车型 解放j6p颜色 蓝色位置 济南经十山大路口方向 自西向东时间 2013 2 58 45 30 山东省17地市交通卡口每天采集行车记录数将近1亿条 根据牌号比对一天的车辆行驶信息 耗时30分钟 查出4000多辆嫌疑车辆 监控卡口 套牌车查找 大数据的分析计算 车牌号 车型 颜色 距离 卡口信息 卡口信息 卡口信息 卡口信息 卡口信息 数据调取 数据调取 计算结果 数据增长 处理速度快Volecity 利用各种大数据分析工具 比如Hadoop SPSS和R 可从各种类型的数据中快速获得高价值的信息 这一点和传统的数据分析技术有着本质的区别 二 大数据概述 大数据正在改变人类的思维方式 随

16、机样本 精确求解 因果关系 全体数据 近似求解 关联关系 传统思维 大数据思维 三 大数据国内外应用现状 1 国外现状 2012年3月 美国奥巴马政府宣布推出 大数据的研究和发展计划 该计划承诺将投资两亿多美元 大力推动和改善与大数据相关的收集 组织和分析工具及技术 以推进从大量的 复杂的数据集合中获取知识和洞见的能力 案例1 美国治理警察超速行驶大数据应用 美国佛罗里达州为了治理警察超速行驶问题 通过对不同高速口收费站的原始数据记录 约为110万条 的比对挖掘分析 得到了一个惊人的结果 当地的3900辆警车在13个月的时间里共发生了5100多次的超速行驶记录 通过进一步的筛选分析发现 警车超速行驶的时间竟然大部分都发生在上下班时间 通过对海量数据的分析处理可以得出的结论是 警车超速行驶大都不是为了执行公务 分析结果公布在 太阳哨兵报 之后 翔实的数据纪录与可信的分析结果引起了当地民众的广泛关注 牵扯到超速案件的12个部门近800名警察受到处理 警察开快车 事件被有效治理和纠正 案例2 疾病预防 美国人在去医院前 喜欢在谷歌搜索类似 流感症状 的词汇谷歌据此预测流感趋势 比美国疾病控制