《大数据技术展望及西山居大数据系统实践》由会员分享，可在线阅读，更多相关《大数据技术展望及西山居大数据系统实践（31页珍藏版）》请在金锄头文库上搜索。
1、大数据杂谈 大数据技术展望及西山居大数据系统实践 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 提纲提纲 大数据产业展望 西山居大数据系统 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 大数据产业 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 混乱 思路不清晰 竞争无序 盲目 盲目跟风 盲目投资 浪费 大量智慧城市项目成为烂尾项目 大量购置硬件资源没有得到合理利用 大数据产业 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的
2、推动力！ 狭义大数据 基于Hadoop技术的存储、计算框架及上层应用 广义大数据 将相当规模的数据进行归集、加工处理、分析 、呈现、最终找出其所蕴含的规律的技术技巧 、算法等方法统称为大数据或大数据技术。 由广义大数据直接或间接衍生出的业务都算是 大数据产业的一环。 大数据产业 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 数据流转 收集 产生 上报 分析 建模 计算 知识 规律 特性 大数据产业 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 大数据产业环节 大数据产业 收集收集存储存储分析分析知识知识
3、 采集保存清洗可视化 上报安全 传输 交易交易 交易商 建模 算法 知识总结 预测 渠道商 孵化器 培训咨询基建广告就业 分流市场研究 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 未来3-5年大数据产业 人才供需旺盛 预计2020年中国大数据人才需求总量超过200万人 大数据产业 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 未来3-5年大数据产业 衍生产品繁杂 大数据产业 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 未来3-5年大数据产业 大鱼吃小鱼，
4、大浪淘沙 大数据产业 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 未来3-5年大数据产业 互联网，大数据 不会颠覆行业只会成为运营的重要补充 埋点 上报 入库分析 调整 大数据产业 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 数据存量大 仅剑侠情缘3道具主题日志每天80GB 需求响应迟钝 每个数据需求从动议到报表呈现动辄数周 部署笨重 采购流程长 申请资源、埋点、收集、报表 西山居大数据系统：痛点所在 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居
5、大数据系统：视角与思路 存储 廉价，可扩展 响应 减少环节 项目自治 部署 采/发流程分离 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：视角与思路 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：视角与思路 收集 TCP流 文件拷贝 存储 HDFS HIVE HBASE EXT4 MySQL 分析 挖掘与分析 呈现 Java Php Python 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：视角与思路
6、收集 TCP流：Fluentd 文件拷贝：SCP、FTP 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：视角与思路 收集 TCP流： 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：视角与思路 收集 负载均衡 服务端负载均衡 客户端负载均衡Load Balancer HostHostHost Client DNS HostHostHost Client CNAME1CNAME2CNAME3 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大
7、的推动力！ 西山居大数据系统：视角与思路 存储 HDFS 存储量大，适合存文本，延迟较大 HDFS HBASEHIVEMySQL 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：视角与思路 挖掘与分析 Mahout Spark Machine Learning Lib Scala、HiveQL HDFS HIVEMySQL 脚本 脚本 仪表盘 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：视角与思路 呈现 全定制报表？ 开发工作量太大 后续不断开发 互动性报表？ 开源B
8、I报表 互动性工作台？ Hue、oozie 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：视角与思路 呈现 HUE：目前最好的GUI HUE HDFSHIVEHBASEPIGOOZIEMYSQLSPARK 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：视角与思路 资源池PAAS层 客户端客户端客户端服务器服务器服务器 FluentdFluentdFluentdFtpFtpFtp HDFSHDFS HiveHBaseMySQLHiveHBaseMySQL 自明式访问 接
9、口 存储介质层 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：技巧 化整为零 节点资源需要化整为零 4CPU、4GB、1TB 2 vs 8CPU、8GB、2TB 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：技巧 充分利用开源项目和开源插件 使用Fluentd、Kafka、MySQL 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：技巧 磁盘IO是关键瓶颈 PCIE+SSD，SAS硬盘，SATA硬盘，IDE
10、硬盘 RAID10 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：成效 新立项接入时间 从3个月降低到2周以内，延迟减少80%以上 单一数据流转需求 从1个月降低到1天，延迟减少95%以上 计算效率 Oracle RAC环境中的15分钟降低到1分钟，减少 90%以上 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：大数据部门的价值 开源节流 节流（成本降低） 开源（服务价值） 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：大数据部门的价值 开源节流 节流（成本降低） 减少6-10名高级程序员的人员开销 减少50%以上的硬件投入成本 减少相当量的误工成本 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 西山居大数据系统：大数据部门的价值 开源节流 开源（服务价值） 一站式大数据服务 中间件产品 数据交易支持 www.top100summit.co m 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
