《华为fusioninsight解决方案介绍》由会员分享，可在线阅读，更多相关《华为fusioninsight解决方案介绍（68页珍藏版）》请在金锄头文库上搜索。
1、 大数据发展趋势及典型解决方案 -华为FusionInsight 解决方案 Version: V1.0(20150709) 2 课程大纲 4 大数据应用场景及成功案例 1 大数据发展背景 2 大数据起源及发展趋势 5 大数据配置报价指南 6 如何获取资源 3 华为FusionInsight大数据解决方案介绍 3 大数据已经成为世界各国的国家战略 美国： 白宫推出Data to Knowledge to Action计 划，这是美国向数字治国、数字经济、数字 城市、数字国防转型要举措 G8： 奥巴马签署了透 明和开放的政府 美国总统办公室提交大数据：把握机遇，维 护价值政策报告，强调政府部门和私
2、人部门紧 密合作，最大限度地促进增长和利益，减少风险 八国集团发布了G8开放数据宪章，提出要加快推动数据开放和利用。 2013 欧盟力推数据价值链战略计划，用大数据改造传统治理模式，降低公共部门成本，并促进经济增长和就业增长 英国政府发布英国数据能力发展战略规划，旨在利用数据产生商业价值、提振经济增长，承诺2015年之前 开放交通、天气、医疗方面的核心数据库。 安倍内阁正式公布新IT战略创建最尖端IT国家宣言，以开放大数据为核心的IT国家战略 中国： 2015年3月的上，李克强总理明确表态，政府应该尽量的公开非涉密的数据，以便利用这些数 据更好的服务社会，也为政府决策和监管服务。 2015 国
3、务院常务会议在6月17日部署运用大数据优化政府服务和监管，提高行政效能。大力发展政务大 数据，不仅在于打通部门壁垒、提高行政效率，更在于转变思维观念，助力向智慧政府转型。 全球各主要经济体都已将数据开放作为国家战略，促进未来经济发展。中国在顶层设计上已经开始布局大数据产业 2009 2013 2014 4 国务院颁布“大数据纲要”，指导产业布局与落地 十大工程 政府数据资源共享开放工程 国家大数据资源统筹发展工程 政府治理大数据工程 公共服务大数据工程 工业和新兴产业大数据工程 现代农业大数据工程 万众创新大数据工程 大数据关键技术及产业产业研发与产业化工程 大数据产业支撑能力提升工程 网络和
4、大数据安全保障工程 发 改 委 统 筹 工 信 部 主 导 工信部主导 其他部委主导 IT行业 重点参 与 电信，金 融，政府 重点参与 加强大数据基础设施 建设 支持地方开展大数据 产业发展和应用试点 推动大数据标准体系建设 支持大数据技术和产 业创新发展 促进大数据与其他 产业的融合发展 5 大数据趋势：跨越裂谷，走向成熟，进入落地与实施阶段 跨过概念，进入实践，空间迅猛发展 2011：新兴技术 2014：跨越炒作顶峰 2015：跨越裂谷，走向成熟 expectations Activity Streams Wireless Power Group Buying Social Analyt
5、ics Gamification 3D Printing Image Recognition Context-Enriched Services Speech-to-Speech Translation Internet of Things Natural Language Question Answering “Big Data“ and Extreme Information Processing and Management Video Analytics for Customer Service Computer-Brain Interface Quantum Computing Hu
6、man Augmentation 3D Bioprinting Social TV Internet TV NFC Payment Private Cloud Computing Augmented Reality Cloud Computing Media Tablet Virtual Assistants In-Memory Database Management Systems Gesture Recognition Machine-to-Machine Communication Services Mesh Networks:Sensor Technology Trigger Host
7、ed Virtual Desktops Virtual Worlds E-Book Readers Consumerization QR/Color Code Idea Management Biometric Authentication Methods Mobile Application Stores Predictive Analytics Speech Recognition Location-Aware Applications As of July 2011 Peak of Inflated Expectations Trough of Disillusionmen t Slop
8、e of Enlightenment Plateau of Productivity time Mobile Robots Years to mainstream adoption: less than 2 years 2 to 5 years 5 to 10 years more than 10 years obsolete before plateau 50%的企业已经投资和使用大数据，33%的企业正在规划如何利用大数据，我们看到大数据领域的持续投资，大数据即将步入成熟发展阶段 6 大数据已经在领先企业获得落地，并产生效果 互联网 金融 运营商 零售 Telefonica用户位置信息 Ve
9、rizon用户消费习惯 VISA信用卡可疑交易 招商银行业务创新 Google大脑 百度智能大脑 沃尔玛用户个性化体验 Target用户消费习惯分析 7 课程大纲 4 大数据应用场景及成功案例 1 大数据发展背景 2 大数据起源及发展趋势 5 大数据配置报价指南 6 如何获取资源 3 华为FusionInsight大数据解决方案介绍 8 什么是大数据 维基百科：“大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合” IDC：一般会涉及2种以上数据形式，数据量100T以上，且是高速、实时数据流；或者从小数据开始，但数据每年增长60% Gartner：大数据的四个V：V
10、olume、Variety、Velocity、Value Volume：数据量巨大 Velocity：分析处理速度快 Variety：种类和来源多样化 集中储存/集中计算已经无法处理 巨大的数据量 日志/图片/视频/文档/地理位置 海量数据的及时有效分析 Value：价值密度低，商业价值高 大量的不相关信息的进行复杂深度 分析，深挖价值 精准营销深入洞察 统一监控分析 另外IBM有大数据5V特征定义，增加了一个Veracity（真实性） 9 全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年 每天会有 2.88 万个小时的视频上传到Youtube，足够一
11、个人昼夜不息的观看3.3 年 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年 每天亚马逊上将产生 6.3 百万笔订单 每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB Google 上每天需要处理24PB 的数据 在web 2.0的时代，人们从信息的被动接受者变成了主动创造者 海量数据从哪里来人 10 海量数据从哪里来机器 Boeing：飞机每 个引擎3分钟产生 1TB数据，波音 787 6小时飞行产 生240TB数据 CERN： LHC对撞 产生1PB/s的数据 SKA：2015年存 储
12、需要1EB 云化IDC建设 催生了数据大集中 Facebook：每天 产生50TB的日志 数据，衍生分析 数据超过100TB “机器制造”和“人工制造”共同贡献了海量数据，集中式的数据中心建设加速数据集中 11 为什么大数据技术会出现 海量数据的高存储 成本 大数据量下的数据 处理性能不足 流式数据处理缺失 有限的扩展能力 单一数据源 数据资产对外增值 数据扩 展性需 求和硬 件性能 之间存 在差距 新的业务需求，需要新的大数据处理平台 12 为什么传统数据库不能解决大数据的问题 数据量大 数据种类多 结构化数据 （传统数据库） VS 结构化数据、非结构化数据、 半结构化数据（大数据） TB级
13、（传统数据库） VS PB级（大数据） 13 揭开Hadoop神秘的面纱 Hadoop是Apache基金会的一个项目总称，主要由HDFS、MapReduce和HBase等组成。 HDFS是对Google GFS的开源实现，MapReduce是对Google MapReduce的开源实现， HBase是Google BigTable的开源实现。 Hadoop 来源于其创始人Doug Cutting的儿子给一头黄色大象取的名字。 Hadoop最初只与网页索引有关，迅速发展成为分析大数据的领先平台。 14 Hadoop 框架及应用堆栈 HDFS 分布式文件系统 HCatalog 元数据管理 HBas
14、e 分布式列数据库 Hive SQL查询语言 Pig 流数据处理语言 MapReduce 分布式数据处理框架 协调服务，分布式锁 ZooKeepere Hadoop Common 分布式文件系统和通用I/O的组件与接口 数据源 数据仓库 日志文件 媒体文件 RSS 分布式数据存储 HDFS 分布式数据处理 数据应用 Queries Analytic s Search Datamee r Sqoop、Flume、 HBase MapReduce Hive 15 HDFS原理简介 字典 文件系统 部首检字表 （一）部首目录 （二）检字表 （三）难检字笔 画索引 文件名 元数据 （Metadata）
15、 字典正文 数据块（Block） Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS的核心理念是分而治之,即：将大的数 据分成很多小块进行存储和分析。它提供高吞吐量来访问应用程序的数据，适合有着超大数据集的应用程序。 16 MapReduce原理简介 MapReduce基于Google发布的分布式计算框架MapReduce论文设计开发，用于大规模数据集（大于1TB）的并行运算 机关PipeLine管理人员 办事处PipeLine管理接口 办事处产 品经理 办事处产 品经理 。 Map Reduce 17 Spark原理简介 Spark是U
16、C Berkeley AMP 实验室基于map reduce算法实现的分布式计算框架，输出 和结果保存在内存中，不需要频繁读写HDFS，数据处理效率更高 Spark适用于近线或准实时、数据挖掘与机器学习应用场景 VS 18 互联网大数据技术演进：从查询、分析到智能 GFS（分布式文件系统） MapReduce 分布式并行计算 Bigtable 分布式NoSQL Sawzall 高阶语言 Chubby（分布式协同） Search Page Indexing 分布式存储+ 查询 + 批处理 交互式分析 + 增量刷新 + 图计算 MapReduce 批处理框架 Bigtable 分布式NoSQL Sawzall 高阶语言 Search Page Indexing Percolator 增量框架 Pregel 图计算框 架 Google+ BI/Analytics Dremel 交互式分析 智能分析+云服务
