《第1章 大数据的起源和发展ppt课件》由会员分享，可在线阅读，更多相关《第1章 大数据的起源和发展ppt课件（24页珍藏版）》请在金锄头文库上搜索。
1、第1章大数据的起源和发展 起源和发展 1 1大数据起源及定义 1 大数据起源 半个世纪以来 随着计算机技术全面融入社会生活 信息爆炸已经积累到了一个开始引发变革的程度 它不仅使世界充斥着比以往更多的信息 而且其增长速度也在加快 互联网 社交 搜索 电商 移动互联网 微博 物联网 传感器 智慧地球 车联网 GPS 医学影像 安全监控 金融 银行 股市 保险 电信 通话 短信 都在疯狂产生着数据 全球每秒钟发送2 9百万封电子邮件 一分钟读一篇的话 足够一个人昼夜不息的读5 5年 每天会有2 88万个小时的视频上传到Youtube 足够一个人昼夜不息的观看3 3年 推特上每天发布5千万条消息 假设
2、10秒钟浏览一条信息 这些消息足够一个人昼夜不息的浏览16年 每天亚马逊上将产生6 3百万笔订单 每个月网民在Facebook上要花费7千亿分钟 被移动互联网使用者发送和接收的数据高达1 3EB Google上每天需要处理24PB的数据 1 大数据起源 20世纪90年代 数据仓库之父的BillInmon就经常提及BigData 2011年5月 在 云计算相遇大数据 为主题的EMCWorld2011会议中 EMC抛出了BigData概念 1 大数据起源 2 大数据在计算机科学中处于最前沿 定义一 大数据指的是那些大小超过标准数据库工具软件能够收集 存储 管理和分析的数据集 摘自麦肯锡定义二 在信
3、息技术中 大数据 是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集 其挑战包括采集 管理 存储 搜索 共享 分析和可视化 摘自WIKI定义三 大数据 是需要新处理模式才能具有更强的决策力 洞察发现力和流程优化能力的海量 高增长率和多样化的信息资产 从数据的类别上看 大数据 指的是无法使用传统流程或工具处理或分析的信息 它定义了那些超出正常处理范围和大小 迫使用户采用非传统处理方法的数据集 摘自Gartner定义四 大数据本质上是数据交叉 方法交叉 知识交叉 领域交叉 学科交叉 从而产生新的科学研究方法 新的管理决策方法 新的经济增长方式 新的社会发展方式等等 摘
4、自复旦大学朱扬勇教授 3 大数据定义 1 2大数据特征 大数据的4V特征 大体量 Volume 多样性 Variety 快速化 Velocity 价值密度低 Value 就是 大数据 的显著特征 简称4V特征 大体量 Volume 数据基本单位换算 1B byte字节 8b bit位 1KB Kilobyte千字节 1024B1MB Megabyte 简称 兆 1024KB1GB Gigabyte 简称 吉 又称 千兆 1024MB1TB Trillionbyte 简称 太 1024GB 10 3GB1PB Petabyte 简称 拍 字节 1024TB 10 6GB1EB Exabyte 简
5、称 艾 字节 1024PB 10 9GB1ZB Zettabyte 简称 泽 字节 1024EB 10 12GB 大体量 Volume 在2006年 个人用户才刚刚迈进TB时代 全球一共新产生了约180EB的数据 在2011年 这个数字达到了1 8ZB 而根据知名市场研究机构IDC的预测 到2020年 整个世界的数据总量将会增长44倍 达到35 2ZB 1ZB 10亿TB 多样性 Variety 互联网 移动互联网 物联网 车联网等等各种数据来源大数据的数据结构更加多样化 图像 视频 微博评价 邮件PDF office文档 word excel ppt 手机呼叫 短信网页点击搜索 html 搜
6、索行为 地图gps 非结构化数据增长率就达80 而传统的数据样式 多半是数据库表和xml 快速化 Velocity 每秒钟 人们发送290封电子邮件 每分钟人们在youtube上传20小时的视频 人们每月在总共在facebook上浏览7000亿分钟 移动互联网网用户发送和上传的数据量达到1 3exabytes 相当于10的18次方 每秒淘宝商城成交178笔订单 实时股票分析 过期无用 实时路况信息 过期无用 数据的快速产生和实时响应是一大特征 价值密度低 Value 挖掘大数据的价值类似沙里淘金比如用户评价分析 几百万的评价记录 真正有借鉴意义的就几句比如视频监控 每天产生24小时的视频数据
7、真正有价值的就几秒钟 1 3大数据的构成 大数据 海量数据 复杂类型的数据 大数据包括 交易数据和交互数据集在内的所有数据集 大数据的构成 海量交易数据 企业内部的经营交易信息主要包括联机交易数据和联机分析数据 是结构化的 通过关系数据库进行管理和访问的静态 历史数据 通过这些数据 我们能了解过去发生了什么 海量交互数据 源于Facebook Twitter LinkedIn及其他来源的社交媒体数据构成 它包括了呼叫详细记录CDR 设备和传感器信息 GPS和地理定位映射数据 通过管理文件传输ManageFileTransfer协议传送的海量图像文件 Web文本和点击流数据 科学信息 电子邮件等
8、等 可以告诉我们未来会发生什么 海量数据处理 大数据的涌现已经催生出了设计用于数据密集型处理的架构 例如具有开放源码 在商品硬件群中运行的ApacheHadoop 1 4大数据面临的机遇和挑战 机遇一 如何使用数据资产 包括个人信息 消费记录在内的海量数据当中 蕴含着大量有价值的信息 可以为企业经营 管理提供参考互联网最为本质的一点 就是网民真实的展示了个人的想法 并能迅速为人所知 心理学家说人类的细微行为 直接暴露内心的想法 挖出真正有价值的 钻石 数据挖掘和预测性分析 成为了决定组织在新时代成败的关键如何盘活数据资产 使其为国家治理 企业决策乃至个人生活服务 是 大数据 时代的核心问题 机遇二 大数据赋予我们洞察未来的能力 马云成功预测2008年经济危机 2008年初 阿里巴巴平台上整个买家询盘数急剧下滑 欧美对中国采购在下滑 海关是卖了货 出去以后再获得数据 而我们提前半年时间从询盘上推断大数据带来的机遇判断出世界贸易发生变化了 挑战一 大数据中有用信息的准确提取 挑战二 大数据的信息安全 挑战三 大数据分析人才紧缺
