《实时计算平台服务化的演进》由会员分享，可在线阅读，更多相关《实时计算平台服务化的演进（28页珍藏版）》请在金锄头文库上搜索。
1、 实时计算平台服务化的演进 鲁宾宾乐视云? 2015年加入乐视云计算大数据团队，主要负责实时计算平台相关的 业务。 个人简介鲁宾宾 乐视云计算大数据中心成立于2015年，团队依托乐视云计算公司为内部、 外部提供数据标准化、数据平台建设和数据产品的研发。团队有平台、 运营、智能分析、算法四个团队组成。 实时计算平台服务化的演进 介绍基于Storm实时计算平台的构建和使用实践，从面 向需求，面向应用的开发导向逐步演进为以面向公共服 务的开发。 通过简单的配置，零代码开发实现接入实时计算平台。 ? Storm是什么 Apache Storm is a distributed realtime com
2、putation system, and makes it easy to reliably process unbounded streams of data, doing for realtime processing what Hadoop did for batch processing. ? 典型案例 全球600+CDN节点，平均每天产生千亿条CDN日志 实时处理并为CDN客户计算按5分钟，小时，天等时间粒度的带宽 数据 典型案例 典型案例 典型案例 典型案例 ? ? ? ? 典型案例 日志解析 分拣 带宽 在线人数 播放数? 独立IP数? 5分钟 小时 1分钟 天 直播 点播 图片
3、加速 下载 国家 省份 请求数? 运营商? Help 不断增加的新需求或者需求变了 程序改动风险 上线风险 维护成本增加 扩展难度加大 怎么办 ? 1. 抽象计算逻辑 2. 分离计算流程 3. 服务化 1. 抽象计算逻辑 日志解析 分拣 带宽 在线人数 播放数? 独立IP数? 请求数? 累加? 去重? 解析? 2. 分离计算流程 3. 服务化 解析模块 提供一整套的日志解析工具包，通过配置文件实现对不同日志文件的解析和分拣； 系统包含4种类型的组件： 1.parser 解析器,负责对日志的解析 2.convert 转换器,负责对字段进行转换 3.plugin 插件,负责处理解析完的数据,比如发
4、送到kafka或者保存到本地等 4.chain 链路,解析入口,负责组织parser/convert/Plugin,解析时chain依次调用组 件完成解析 解析模块 123.123.123.123 - 10/Oct/2016:10:09:36 +0800 GET / test/inter/? iOS 10.0; Scale/2.00) -”? 解析模块 拼接 对解析后的数据按照计算指标进行预处理，主要实现数据的预处理，组 织，以及拼接KEY。 去重计算 1. 基于滑动窗口； 2. 基于Redis 1. Set 2. HyperLogLog 3. BloomFilter等 日志拼接 针对有时序特性的日志进行实时拼接，还原事件发生的事件链； 例子 通过配置实现 1. 在线人数 2. 播放数计算 在线人数计算 播放数计算 总结 通过构建服务化的实时计算平台，目前我们实时计算新接入的需求已经可以实 现通过配置完成，一方面减少了开发和维护成本，减轻了上线，测试压力，另 一方面通过服务化的构建方式，实现了计算逻辑的分离，使得可以针对不同的 计算提供不同的资源配置和优化方案。 未来发展 1. 提供更丰富的计算服务，如机器学习等基本算子 2. 配置自助化，可以提供给运营团队或我们的客户直接定义计算流程 3. 多租户 4. 计算能力开放 Thank You！
