腾讯游戏大数据产品体系解密资料

《腾讯游戏大数据产品体系解密资料》由会员分享，可在线阅读，更多相关《腾讯游戏大数据产品体系解密资料（41页珍藏版）》请在金锄头文库上搜索。

1、腾讯游戏大数据产品体系解密 iData腾讯游戏数据服务 农益辉 腾讯互动娱乐运营部数据中心总监 腾讯游戏大数据 产品 如何建设数据服 务闭环 数据化运营思路 0102 03 腾讯游戏大数据 产品 01 游戏运营团队需要更精细化运营游戏 2006201020142016 页游爆发 手游爆发 游戏数量、品类繁多用户群大，偏好各异 200+款游戏 5亿+自然用户 游戏数据化运营服务iDataiData 1 2 3 4 蛮荒时代 通过游戏运维在文本日志 中进行数据统计 石器时代 机械时代 提供分析框架 降低统计分析成本 iData-自动化时代 一站式数据分析服务 基于用户生命周期的数据化方案 随着精细

2、化的需要团队不断变革 由专门的数据开发人员提 供统计分析页面 2006年 2008年 2012年 智能化时代 2亿人次 30亿 400+次 iData是这样帮助游戏运营的 某业务，新版本上线后， 新手次日存留只有20%， 严重低于正常值 新手存留预警 iData是这样帮助游戏运营的 新手任务门槛太高 导致用户流失大幅 增加 新手存留预警新手存留分析 iData是这样帮助游戏运营的 通过配置新手任务赠 送，调整新手任务， 降低任务门槛 新手干预措施新手存留预警新手存留分析 iData是这样帮助游戏运营的 效果跟踪 活动上线后实时跟踪 活动效果做调整，新 手存留上升 新手干预措施新手存留预警新手存

3、留分析 腾讯游戏大数据 产品 如何建设数据服 务闭环 0102 秒级数据采集计算 帮助游戏及时了解游戏运营状况 1 发现问题 3 解决问题 秒级多维数据分析 帮助产品快速定位问题，分析决策 低成本运营策略实施 帮助游戏快速响应，即时调整策略 新进转 化 活跃及付费转化 流失干 预 2 分析问题 覆盖用户生命周期数据化运营闭环 通过iDataiData实现精细化运营的闭环 数据接口中心 数据分析引擎 运营规则引擎 用户触达中心 报表统计 数据分析 运营活动 游戏功能 触达运营 平台组件 数据接入 实时传输 离线传输 数据处理 实时计算 引擎 离线计算 引擎 数据存储 KV存储 DB存储 位图索引

4、 HDFS 游 戏 内 产 品 渠 道 平台组件服务引擎数据源业务应用 数据采集 分析系统 应用系统 用户触达 存储计算应用落地 元数据管理用户自助中心 准实时传 输 外 部 信 息 应用模型 精准推荐引擎 精准推荐 用户画像 算法库 规则库 数据服务闭环的基础：多维数据分析 游戏产品自助化用户分析平台 数据服务闭环的基础：多维数据分析 数据一体化数据分析引擎多维分析可视化 数据服务闭环的基础：多维数据分析 数据一体化数据分析引擎多维分析可视化 原始事实表清理原子数据动态宽表立方体构成 标准聚合计算 和复杂计算app 可视化 TRedis结果DB 可视化 分析 线上服 务 事实表Sql统计计算

5、可视化报表 数据一体化 传统方法 数据服务闭环的基础：多维数据分析 数据一体化数据分析引擎多维分析可视化 分散的多种 来源数据 数据血缘管 理 维度与度量 指标管理 综合调度与 计算 统一的二次 计算平台 多种应用途 径 数据应用服务 难度根源之一 实现异常自动 恢复的关键 将零散的数 据有序管理 数据统一中间 规范形成 自助化数据分 析与应用工具 自动统计 自动构建 cube 自动明细 规范中间 表 热区缓存 数据分析 数据应用 异常监控 故障自愈 数据服务闭环的基础：多维数据分析 Spark计算引擎 计算调度 ETL 多维计算 排序过滤 算法模型 实时计算 号码转换 位图引擎 画像引擎交叉

6、引擎 大盘交叉 多包合并 多包差集 用户画像 下钻分析 多维交叉 用户提取 基础跟踪 日志计算 组合任务调度 Spark调度 TDW调度 ES引擎 用户提取 特性跟踪 位图调度 ES调度 交叉调度 数据一体化数据分析引擎多维分析可视化 全量 数据 流水 更 新 全量 数据 数据服务闭环的基础：多维数据分析 分类型存储 结构化 Bitmap存储和计算 ProtoBuf存储流水 全账号时间切分和全 时间账号切分 大区数据分片，全排序 uin/commid 10011110110011010 12个月366天8天 最后登录时间 last_login_time uin/commid文件偏移量 offf

7、set 1 366天以前是否活跃 位图文件数据结构位图文件数据结构 索引文件结构索引文件结构 最后消费时间 last_pay_time 最后充值时间 last_deposit_time 100101001100010000 100111101100110101 登录bit 消费bit 充值bit 冗余位 244字节244字节 64字节64字节 uin/commid 登录时间 login_time uin/commid 注册时间 register_time uin/commid 消费时间 pay_time 消费金额 pay_account uin/commid 充值时间 deposit_time

8、 充值金额 deposit_account 注册文件登录文件消费充值文件充值文件 每日流水文件数据结构 数据组织与更新策略 数据一体化数据分析引擎多维分析可视化 数据服务闭环的基础：多维数据分析 多维分析引擎 Block1 Block2 Block Storage Scheduler Data Stats Gather Data Extract SQL Parser Query Optimizer Execution Plan Bitcode Emitter Execute Scheduler CDB Scheduler Block1Block2 Block DataNode-2 Block1

9、Block2 Block DataNode-3 Bitmap Filter Builder Dynamic Bitmap Index Cache Bitmap Index Generator Execute Engine Data Mapper Col-1Col-1Col Aggregate Merger Executor-1 Bitmap Filter Builder Dynamic Bitmap Index Cache Bitmap Index Generator Execute Engine Data Mapper Col-1Col-1Col Aggregate Merger Execu

10、tor-2 Bitmap Filter Builder Dynamic Bitmap Index Cache Bitmap Index Generator Execute Engine Data Mapper Col-1Col-1Col Aggregate Merger Executor-3 HDFS Block1Block2Block3Block Data Representation DataNode-1 数据一体化数据分析引擎多维分析可视化 数据服务闭环的基础：多维数据分析 均衡存储 并行计算 即时编译 编译执行 最优化机器指令 动态位图索引 性别男 年龄30 成本低 命中率高 减少IO

11、 可支持大量列 数据一体化数据分析引擎多维分析可视化 分布式列式存储 数据服务闭环的基础：多维数据分析 主界面 状态栏热点图 指标编辑 指标菜单表格控制 指标区间 指标调整 大数据表格 X表头Y表头 滑动条 指针标尺 X滑动条Y滑动条文本修改器 控件层 业务处理层 数据一体化数据分析引擎多维分析可视化 数据服务闭环的核心：场景化用户精细化干预 游戏主体功能与运营 旁路的游戏运营引擎 场景 触发 实时 反馈 关注游戏主体功能与玩法 的研发和策划 游戏策划与研发 关注用户在不同场景的状 态和需要，做更精细化的 运营 游戏运营 数据服务闭环的核心：场景化用户精细化干预 游戏内游戏外 规则引擎 If

12、A，Than B 条件动作 推荐引擎 算法模型 用 户 画 像 系统 用户触达管理实时数据通道 用户数据和场景状态实 时获取 通过内外部数据更新用 户画像 通过用户对渠道、内容的偏 好针对性投放，提高有效性 通过低成本人工规则和精准的 推荐，做到用户分群运营干预 效 果 评 估 体 系 根据不同目标的运营（拉 新、活跃、回流、收入）， 针对性的评估实验效果 数据+画像 规则+推荐 效果评估 用户触达管理 数据服务闭环的核心：实时规则引擎 用户状态和触发条件规则给予的干预动作 If A，Than B 双周活跃用户 活跃度下降用户 游戏副本A结束后 与好友组团 推送一个消息 赠送一个道具 推荐一个

13、活动 推荐一个任务 双周活跃用户，且 游戏副本A结束后， 推送一个任务B 活跃度下降用户， 与好友组队完成 后，赠送一个道具 数据服务闭环的核心：实时规则引擎 案例：刺激新用户存留 新用户邀请好友对局结 束后给予奖励 数据服务闭环的核心：实时规则引擎 实时计算 消息队列 Kafka Kafka 上海周浦IDC 上海南汇IDC 实时计算平台（Billow-RT） 任务开发调度 T-SQL 实时计算引擎 Storm TRedis RocksDB TGlog CheckSvr 实时事件消息总线 Event Table Bus 实时指标一致性存储 规则计算 RT-Rule 数据服务闭环的核心：场景化用

14、户精细化干预 单机8W QPS混合读写能力；存储容量TB级别，分布式平行扩容; 单操作一读一写更新在25MS完成； 独立开发SQL化的计算任务树，自动解析映射Storm计算引擎； 以前硬编码开发时长从小时级别降低到配置开发10分钟级别； 采用异步本地RocksDB存储+远程Tredis对账一致性纠错计算机制； 保证实时计算指标的最终一致性。 一些优化 基于SSD+RocksDB+Redis构建分布式大数据缓存SSDB-TRedis T-SQL的任务配置开发计算模板 实时指标最终一致性保障机制 数据服务闭环的核心：场景化用户精细化干预 方案好处 游戏服务解耦；不依赖游戏版本开发节奏规则 热更新、

15、快速试错、调整运营节奏 多维度+多度量+用户画像标签 规则灵活组合 维度度量指标一次开发，游戏、渠道、营销多方平台多次复用 实时性满足日常营销规则场景（200600ms） 数据服务闭环的核心：需要更全面的用户数据 用户在 游戏内 行为数 据 用户在 公司其 他产品 行为数 据 用户在 渠道行 为数据 游戏与 产品在 外部数 据 形成6大类标签，4.5万维特征 财富 自然人 游戏特性 SNS 渠道 兴趣 数据服务闭环的核心：精准方案沉淀与复制 存储系统 离线计 算系统 实时计 算系统 自然语言 处理算法 分类 算法 聚类 算法 序列挖 掘算法 语义模 型算法 深度学习图计算 新进 数据 活跃 付

16、费 流失 数据服务闭环的核心：任务推荐系统 用户成长 能力提升分类引导 任务推荐 完成度(喜好度)留存率/活跃时长 任务描述 难度运营目标 0 2 4 6 8 10 好友数 击杀数 死亡数 KD比 注册天数 经验总量 勋章级别 最高级别 在线时长 游戏时长 消费金额充值金额 战队贡献点 爆破模式 团队模式 终结者模式 特殊战模式 个人竞技模式 机器人模式 挑战模式 其他模式 团队机器人老玩家-爆破 老玩家-多模式新手-爆破老玩家-偏爆破 挑战模式新手-多模式终结者 活 跃 度 理想生命曲线 用户分层 精准拉新 新手关怀 成长引导 活跃监控 精准关怀 流失预警 精准干预 潜在付费挖掘 引导首次付费 刺激付费留存 培养付费习惯 提升付费频次 挖掘场景消费 活跃关怀方案 商业化精准方案 一般生命曲线 数据服务闭环的核心：精准方案沉淀与复制 新进场景流失场景付费场景活跃场景 数据服务闭环的拓展：数据也许可以做更多 提高付 费 提升活 跃 增加用 户量 分析报表精细化用户运营 游戏功能与玩法 实时全面的分析用户分层运营规则 自助化多