《12月 第二期 PPT 跨越鸿沟：大数据从技术到商业价值-东软集团刘长虹》由会员分享，可在线阅读，更多相关《12月 第二期 PPT 跨越鸿沟：大数据从技术到商业价值-东软集团刘长虹（35页珍藏版）》请在金锄头文库上搜索。
1、跨越鸿沟： 大数据从技术到商业价值 刘长虹 技术战略发展部 东软集团股份有限公司 Copyright 2014 Neusoft Corporation 东软机密 大纲 大数据发展趋势 大数据鸿沟 跨越大数据鸿沟 案例： SaCa RealRec大数据产品实践 SaCa RealRec案例 总结及展望 大数据发展趋势 市场发展趋势 Gartner estimates the market for data management infrastructure (database management systems including data warehousing, storage manag
2、ement, BI, ECM and data integration, and related systems as $74 billion in 2014, growing to $94 billion by 2017 . IDC predicted the big data technology and services market will grow at a CAGR of 27% from 2012 to 2017, growing to $32.4 billion , and that the Internet of Things will generate 30 billio
3、n autonomously connected endpoints . Gartner predicted that Big Data would drive $232 billion in IT spending through 2016 . IDC estimates that the amount of data in the world will grow fifty-fold from 2010 to 2020 . 大数据到了落地阶段 数据来源 Gartner Its time to think big 在 2012年，有 27%的企业开始从事大数据相关的工作，有 31%计划于两年
4、内展开大数据项目。 到了 2013年，有 30%的企业已经引入了大数据，计划参与的企业比例也增至 34%。造成这一现象的原因是不少企业都认为大数据能够帮助他们提升用户体验、改进企业效率或是发现新的商业模式或产品 数据来源 Gartner 大数据鸿沟 大数据鸿沟 企业数据量小 认为大数据等同于 BI 缺乏大数据业务规划能力 跨越大数据鸿沟 -企业数据量小 大数据组成和演进 大数据 社交感染力 维 基 /微博 /博客 点击流 传感器 /RFID/设备 音频 /视频 日志文件 空间 &GPS协调 数据营销源 电子政务源 天气 文字 /图像 WEB 2.0 ERP CRM 移动 电子商务 广告 协作
5、数字化营销 搜索营销 Web日志 推荐 应付款 薪酬 盘存 联系人 订单追踪 销售管道 数据复杂度：多样化与高效率 Petabyte Terabyte Gigabyte Megabyte 数据结构多样性 Level Example Structured Relational database Semi-Structured XML data files Quasi-structured Text documents Unstructured Images and video Non Structured 非结构化文本数据处理：例如，微博、新闻。 大规模图片、声音、视频数据处理：例如，相片、电影
6、。 跨越大数据鸿沟 -大数据等同于 BI 传统 BI 大数据分析 数据结构 关系表，预定义 Schema Key-value、列数据库，不需要明确的 Schema 数据量 GB、 TB TB、 PB 数据建模 Top-down预定义，实体关系模型 通过计算寻找模式、探索式预测，相关性 索引 预定义索引、组合索引， 小数据集合 没有索引，全数据集处理 数据访问接口 SQL 开放程序接口 数据处理 ETL 专用 ETL过程和工具 集成在整个处理流程中 分布、并行性 不能自动实现分布式 支持分布式计算 成熟度 商业软件支持 开源软件为主 大数据与传统 BI的技术区别 大数据与传统 BI的应用场景区别
7、 大数据 事务数据 交互数据 外部数据 机器学习 知识图谱 兴趣图谱 社交图谱 数据即决策 预见需求 个性精准 适时送达 传统 BI是汇总、总结，是辅助决策。 大 数据即决策，直接将结果推送给终端用户。 跨越大数据鸿沟 -缺乏大数据规划能力 跨越鸿沟：缺乏业务规划能力 数据拥有者 Google 阿里巴巴 工商银行 数据技术 Oracle TeraData Neusoft 数据创新思维 HGData Datashift DataHug 企业大数据创新类型定位。 企业大数据导入过程 回答新业务中的新问题，目标是改写竞争格局。 回答现有业务中的新问题，专注于业务增长机会。 回答现有业务中的已知问题，
8、专注于提升业绩和运营效率。 数据来源德勤 企业 创新的三种大数据战略 客户战略 产品战略 生态系统战略 重塑客户行为 利用客户交互数据重塑客户行为，这类数据使企业可以预测和引导市场尚未出现的需求，进而创造新的利润。 开发新产品和服务 企业借助数据获取洞见，支持日常业务，以服务于现有市场和客户。瞄准新市场，创新和设计全新的业务模式。 数据生态系统视野 企业可以从生态系统中的其他企业处获得补充数据。这种生态系统以适当的合作战略为基础。 SaCa RealRec 大数据产品实践 Secure Social Active Connected Cloud with Awareness SaCa Clou
9、d Application Platform S: Secure, Social a: active C: Connected Cloud a: awareness SaCa产品家族 情景 感知 社交 网络 大 数据 洞察 云计算 移动 互联 ADSG 应用交付 安全网关 SNAP 社交网络平台 EMM 移动管理平台 MAF 移动应用 开发平台 EP 事件处理平台 DataViz 数据可视化平台 RealRec 切实推荐平台 CloudPush 云推送平台 CDC 变更数据 捕获平台 WWF Web组件框架 AppMart 多终端应用商店 ACAP 云应用支撑平台 Aclome 云应用管理平台
10、 外部数据 用户行为分析 个性化推荐 精准 营销 意见挖掘 兴趣发现 用户画像 全站推荐 客户发现 移动推荐 交叉销售 业务数据 销售 市场 Engine 知识图谱 Core 邮件推荐 渠道整合 智慧商务大数据 平台： SaCa RealRec 业务视图 智慧商务的价值 智慧商务特性 业务（客户） 人性化的 适时的 超出期望的 技术角度 情景感知 实时分析 融合数据 智慧商务改进点 1. 预订票时，根据 LBS信息第一次校验。 2. 发送确认短信时，根据上下文交易数据第二次校验。 3. Call Center接访时，给予减免，提高客户满意度、忠诚度。 一张一错再错的机票 RealRec 技术架
11、构 电信领域 金融领域 电子商务 网络多媒体 智能监测 Agent 智能监测 Agent 智能监测 Agent 智能监测 Agent 数据采集持续计算消息队列 （点击流数据） Bolt Bolt Bolt Bolt Bolt Bolt Bolt Bolt 数据过滤 数据转化 NoSQL数据库用户关注热点 转化率统计 网页停留时间 分布式计算关联分析 相关系数 相似性 因果关系 推荐算法 协同过滤 SlopeOne SVD矩阵分解 聚类算法 K-Means 模糊聚类 层次聚类 分布式数据仓库内容信息 元数据 交易信息 用户行为数据 业务数据 自然语言 中文分词 特征值提取 潜在语义网 分类算法
12、支持向量机 朴素贝叶斯 极限学习机 统计模型预测模型 分类模型 关联网络 航空领域 智能监测 Agent 消费品领域 智能监测 Agent 图形数据库领域本体库 兴趣图谱库 标签库 第三方数据 文本挖掘 文本虑重 情感分析 标签传播 RealRec 部署架构 Kafka Storm CDH Neo4j MySQL Sqoop Flume 摘 要 涵盖面的各页标题，如“要分享什么” 用户行为分析应用场景 场景 ：网站、 App、智能设备等用户行为分析。 价值 ：洞察客户，提升用户体验、提升转化率。 个性化推荐应用场景 场景 ：数字化内容推荐：阅读推荐、视频推荐、电商推荐等。 价值 ：从千人一面到
13、千人千面，精准导购，提高交易量。 摘 要 涵盖面的各页标题，如“要分享什么” 精准营销应用场景 场景 ： B2C类企业智慧、精准、定向营销。 价值 ：新客户发现，老客户挖潜力。 案例： 知识社区 员工履历 活动 文档 过程方法 代码样例 领域专家 员工 管理者 找文档、找例子、找高手 填履历， 让更多人了解 为项目找合适技能的员工 了解员工技能状况 个人知识资产的积累与分享 OhwYaa HR 首页文章推荐 相关文章推荐 用户推荐 邮件推荐 热门文章推荐 收益：全站 PV提高 10%，推荐转化率提高 26%。 案例：熙康健康管理 场景描述 ： 熙康服务社区用户产生海量数据包括评论、照片等，社
14、区健康顾问可以通过健康传感器采集到的健康指标信息推荐各种健康 内容。 性能指标 ： 数据 规模：预计日产生 10GB数据（包括健康终端，服务社区，知识库） 查询 分析响应时间：查询分析需要秒级返回 结果 案例 ： 睿 云评测系统 答题卡 试卷 学生考号 学生 扫描及上传 出卷、设定答题卡 批阅主观题 错题集 & 个性化作业 答题情况评估 & 个性化反馈 题库 在线阅卷 家长 个性化评测报告 教师 教学分析 i 学生 从大量数据中感知学生 的知识欠缺，提供实时的学习建议及内容推荐。 评测报告主动 推送 到移动终端 ，让学生和家长第一时间 得到学习建议 通过互动社区与学生、家长交流，答疑解惑、关爱学生。 学生通过微博、互动课件组成社交群组，形成互帮互学的氛围 从大量数据洞察出的学生知识特点，帮助教师有针对性地设计试卷。 试卷扫描及 非 结构化大数据处理，解放了教师的工作量，让教师更专注于提高学生的知识和能力。 案例：电商网站智能营销平台 大数据平台 交易数据 实时 批量 热点分析 轨迹回放 多维透视 智能营销 PC App 社交媒体 邮件 电销 客服 运营分析 保险公司线上财险网销上年销售额 60亿，为进一步提高线上销售，实施了智慧商务方案。从
