《华为马千里_让大数据“慧”说话-修订编选》由会员分享，可在线阅读，更多相关《华为马千里_让大数据“慧”说话-修订编选（48页珍藏版）》请在金锄头文库上搜索。
1、Security Level: 让数据“慧”说话 华为云计算 VMware VCP5.1认证专家 个人简介- 马千里 目 录 01 理解大数据 02 华为大数据解决方案 03 案例分享 04 总结 大数据发展与国家战略 何为大数据 大数据的商业价值 企业应用大数据场景与诉求 华为眼中的大数据 华为大数据战略 大数据与传统商业分析的区别 企业大数据演进之路 企业大数据平台参考架构与蓝图 华为大数据平台架构 华为大数据咨询 华为大数据核心能力与社区贡献 华为公有云大数据服务 华为大数据平台应用场景 运营商大数据业务模型 运营商大数据案例 金融行业业务模型 金融客户大数据案例 大数据平台最佳选择 国
2、家层面：各国都将大数据作为国家战略 美国： 白宫推出Data to Knowledge to Action计 划，这是美国向数字治国、数字经济、数字 城市、数字国防转型要举措 G8 奥巴马签署了透 明和开放的政府 美国总统办公室提交大数据：把握机遇，维 护价值政策报告，强调政府部门和私人部门紧 密合作，最大限度地促进增长和利益，减少风险 八国集团发布了G8开放数据宪章，提出要加快推动数据开放和利用。 2013 欧盟力推数据价值链战略计划，用大数据改造传统治理模式，降低公共部门成本，并促进经济增长和就业增长 英国政府发布英国数据能力发展战略规划，旨在利用数据产生商业价值、提振经济增长，承诺201
3、5年之前 开放交通、天气、医疗方面的核心数据库。 安倍内阁正式公布新IT战略创建最尖端IT国家宣言，以开放大数据为核心的IT国家战略 中国： 2015年3月的上，李克强总理明确表态，政府应该尽量的公开非涉密的数据，以便利用这些数 据更好的服务社会，也为政府决策和监管服务。 2015 国务院常务会议在6月17日部署运用大数据优化政府服务和监管，提高行政效能。大力发展政务大 数据，不仅在于打通部门壁垒、提高行政效率，更在于转变思维观念，助力向智慧政府转型。 全球各主要经济体都已将数据开放作为国家战略，促进未来经济发展。中国在顶层设计上已经开始布局大数据产业 200920132014 国务院颁布“大
4、数据纲要”，指导产业布局与落地。 十大工程 政府数据资源共享开放工程 国家大数据资源统筹发展工程 政府治理大数据工程 公共服务大数据工程 工业和新兴产业大数据工程 现代农业大数据工程 万众创新大数据工程 大数据关键技术及产业产业研发与产业化工程 大数据产业支撑能力提升工程 网络和大数据安全保障工程 发 改 委 统 筹 工 信 部 主 导 工信部主导其他部委主导 IT行业 重点参与 电信，金 融，政府 重点参与 加强大数据基础设施建设 支持地方开展大数据产 业发展和应用试点 推动大数据标准体系建设 支持大数据技术和产 业创新发展 促进大数据与其他产业 的融合发展 大数据趋势：跨越裂谷，走向成熟，
5、进入落地与实施阶段 跨过概念，进入实践，空间迅猛发展 2011：新兴技术2014：跨越炒作顶峰2015：跨越裂谷，走向成熟 expectations Activity Streams Wireless Power Group Buying Social Analytics Gamification 3D Printing Image Recognition Context-Enriched Services Speech-to-Speech Translation Internet of Things Natural Language Question Answering Big Data a
6、nd Extreme Information Processing and Management Video Analytics for Customer Service Computer-Brain Interface Quantum Computing Human Augmentation 3D Bioprinting Social TV Internet TV NFC Payment Private Cloud Computing Augmented Reality Cloud Computing Media Tablet Virtual Assistants In-Memory Dat
7、abase Management Systems Gesture Recognition Machine-to-Machine Communication Services Mesh Networks:Sensor Technology Trigger Hosted Virtual Desktops Virtual Worlds E-Book Readers Consumerization QR/Color Code Idea Management Biometric Authentication Methods Mobile Application Stores Predictive Ana
8、lytics Speech Recognition Location-Aware Applications As of July 2011 Peak of Inflated Expectations Trough of Disillusionmen t Slope of EnlightenmentPlateau of Productivity time Mobile Robots Years to mainstream adoption: less than 2 years2 to 5 years5 to 10 yearsmore than 10 years obsolete before p
9、lateau 50%的企业已经投资和使用大数据，33%的企业正在规划如何利用大数据，我们看到大数据领域的持续投资，大数据即将步入成熟发展阶段 截至 2014 年末 网络上有超过 30 亿人 现在有300 亿 个 RFID 记 （2005 年时有 13 亿） 全球有46亿台 照相手机 每年售出数亿 台支持 GPS 的设备 在 2009 年有7600万台智能仪表 至 2014 年将达到 2 亿台 每天有超过3亿 活跃用户 每天有超过 25 TB 日志数据 每天有 超过1亿条 消息 数据从哪里来？ 社交数据机器数据 什么是大数据 “上个月在瑞士达沃斯举行的 世界经济论坛上,大数据是一个 热点话题。在
10、论坛的一份报告 大数据，大影响中声明： 数据已成为一类新的经济资产， 就像货币或黄金一样. “公司被数据淹没了从客 户的习惯到供应链的效率。 但是许多经理却不能理解这 些数据的意义.” “越来越多的企业使用大众媒体 去分析公众对产品的反馈，例如 Facebook或Twitter, 也有使用网 站资源试着“了解客户，是什么 让他们选择他们想要的东西” 负 责IBM预测分析项目的迪阿德瓦 说。 “大数据已抵达Seton医疗保 健家庭,幸运的是, 通过使用这 个分析工具,每年超过200万复 杂病例的患者得到了帮助” “现在，沃森 正投入到工 作中，消化了数百万页的研 究, 结合最佳的临床实践和 监测
11、结果，以协助医生治疗 癌症患者.” 奥斯卡情感测量 一种工 具，是由洛杉矶时报、IBM 和南加州大学安创新实验室 共同开发的 分析意 见,“主要针对Twitter上共 享的百万条奥斯卡奖项比赛 的公共信息做出的分析意 见.” “数据是新型石油.” Clive Humby “数据是新型石油”未开采的石油，没有什么价值。加工及提炼后，将助力世界。 什么是大数据：大数据4V特征 大数据 特征 来源、类型多样 - Variety 结构化数据，半结构化文本，非结构化语音，图 像 海量数据 - Volume 数据量大 100TB-PB，xTB/天 快速增长 - Velocity 网络环境下每18个月产生的
12、数据量等于有史以 来数据量之和 海量数据分析的时效性 价值发现 - Value 低价值密度 高应用价值 大数据的4V特征，决定了发掘数字金矿的难度，也意味着巨大商机 1. 已经在传统制造、零售、金融行业展开应用 2. 加速在智能交通、平安城市、数字媒体、物流等新兴行业创新 3. 迅速在电信行业中扩大探索 3.开始启动大数据咨询。 1.大数据平台，跨域数据整合及分析； 2. 接入多种数据源，内部/外部等; 3.构建实时分析应用，及时响应业务 4.开始数据挖掘等高级数据分析。 1. 对外数据开放，提供数据服务。大数 据和云相结合; 2.支持灵活开发各种应用，隐私保护； 3.企业决策数据化，跨行业，
13、跨领域数 据挖掘的深度集成。 1.构建企业数字中枢； 2.决策和运维智能化； 3.信息交易和共享。 金融企业，政府正从第一 阶段进入第二阶段 领先的金融和电信运营商 正从第二阶段进入第三阶 段 互联网公司正在开展 转型：从孤立的分析到统一大数据处理平台 目标： 1.从烟囱式多个平台向融合大数据平台，建立统一的数据采集与整合大数据处理、计算及数据服务能力，降低大数据使用成本 2.通过集中各领域数据，方便创新，让数据产生更大价值 3.支持多种大数据负载共用数据和基础设施，支持批处理和实时处理业务 统一数据平台(基础设施复用) 离线分析近线分析实时分析内存分析 目标系统演进 统一数据存储和处理 统一
14、数据挖掘与数据建模 数据服务 统一数据采集 现状烟囱业务系统 数据采集 辅助 运营 系统 数据采集数据采集 建模 挖掘 MIS 应用 系统 建模 挖掘 客户 服务 应用 建模 挖掘 辅助 运营 系统 MIS 应用 系统 客户 服务 应用 新业务 未来企业大数据平台参考架构（全景图） 数据 采集 数据 转换 商业智能（BI） 平台管理 结构化数据 非结构数据 第三方数据 客户数据账务数据 日志呼叫中心语音 微信微博 流式数据 刷卡事件 结构化转换 统计/关联 非结构转换 文本XML/JSON 多媒体转换 语音转文本视频摘要 半/非结构数据挖掘 文本分析 分词 互联网分析 搜索 多媒体分析 音频分
15、析 视频分析 语义 NLP 社交网络 推荐引擎 影像分析 过滤/匹配 结构化数据挖掘 分类聚类 预测关联 流式数据 处理 流处理 ESP/CEP RTD 报表多维分析引擎 数据服务 实时查询批量查询访问框架 分布式缓存 数据可视 数据探察 数据多维展示 元 数 据 管 理 作 业 调 度 数 据 安 全 管 理 网站点击流 数据集市 实时计算 交互式探索多维关联 数据聚集 应用计算 数据 存储基础数据区 实时查询区公共访问区应用数据区 企业大数据平台全景蓝图 MPPDB 华为企业级大数据平台简介 运营商 详单查询、经分分析、 精准营销 金融 全生命周期分析、历史明细、 精准营销、在线征信与风控
16、等 政府安全 卡口数据分析、情报分析、 人口管理 自研算法，提升数据挖掘效率 HIVE/Impala HDFS/HBase M/RSpark PorterMinerDataFarm Hadoop StormSolr 系统管理 Farmer 服务治理 Manager Hadoop APIPlugin API OpenAPI/SDK 应用服务层 REST/SNMP/Syslog DataInformation Knowledge wisdom Yarn/ Zookeeper 华为大数据平台架构框架 安全管理 MPP DB 1.Hadoop层提供大数据处理环境，基于社区开源软件增强 2.DataFarm层提供支撑端到端数据洞察，构建数据到信息到知识到智慧的数据供应链， 其中数据集成服务Porter，数据挖掘服务 Miner和数据服务框架Farmer 3.Manager是一个分布式系统管理框架，管理员可以从单一接入点操控分布式集群，包括系统管理、数据安全管理和数据治理 华为大数据平台架构功能组件 百分之百开源的核心支持混合负载，从批量、交互查
