《刘天斯-DevOps持续改进之道-布道-腾讯》由会员分享，可在线阅读，更多相关《刘天斯-DevOps持续改进之道-布道-腾讯（30页珍藏版）》请在金锄头文库上搜索。
1、DevOps持 续 改 进 之 道 -布 道刘天斯刘 天 斯 (yorkoliu)13年 互 联 网 运 维 工 作 ， 天 涯 、 腾 讯腾 讯 高 级 工 程 师 （ 游 戏 数 据 管 理 Leader） 个 人 著 作 Python自 动 化 运 维 ： 技 术 与 最 佳 实 践 循 序 渐 进 学 Docker 专 注 方 向“ 自 动 化 运 维 云 计 算 大 数 据Docker Devops 数 据 应 用 ”个 人 介 绍分 享 大 纲我 的 DevOps观01布 道 -在 线 服 务 运 营03布 道 -持 续 集 成 与 交 付02持 续 改 进 总 结04我 的 De
2、vOps观DevOps = Culture + Technology DevOps 并 非 目 标 ， 但 它 可 帮 助 您 实 现 目 标永 无 止 境 持 续 改 进过 程 是 否 高 效 ？ 一 个 “ 短 ” 五 个 “ 快 ” ！DevOps = Culture + Technology + Process + People DevOps产 生 的 价 值 (IBM) 增 强 客 户 体 验 提 高 创 新 能 力 更 快 实 现 价 值 短 - 开 发 周 期 快 - 定 位 排 错 、 解 决 问 题 、 测 试 、 部 署 、 反 馈Gartner DevOps Model人
3、过 程技 术文 化连 续 监 控技 术 债 务测 试 驱 动 开 发测 试 驱 动 开发测 试 一 切一 切 工 具 化集 成 工 具 链信 任 文 化监 控 一 切基 础 设 施 即 代 码工 程 文 化集 体 所 有 权自 治 团 队联 合 会 议学 习 文 化开 发 者 自 助服 务岗 位 轮 换全 栈 团 队持 续 测 试持 续 集 成ChatOps网 站 可 靠 性 工程 师一 键 安 装 程 序 构建 ， 测 试 ， 部 署最 小 可 行过 程常 见 度 量功 能 标 志优 化 流 程Chaos Monkey价 值 流协 作 文 化持 续 改 进小 批 量自 动 化 测 试产 品
4、原 型自 动 化 发 布自 动 化 构 建灰 度 放 量失 败 总 结持 续 交 付一 切 版 本 化服 务 型 领 导平 台 工 程 师特 性 团 队游 戏 数 据 概 况70P端 游 100 款页 游 90 款手 游 250 款13w+表2500亿 +数 据2000+表34亿 +数 据7000+表1500亿 +数 据每 天 入 库 近 7600亿 记 录 ， 约 80T， 仓 库 总 存 储 70P ， 占 公 司 整 体 存 储 量 26%DataMore游 戏 精 细 化 运 营 服 务通 过 数 据 驱 动 、 场 景 细 分 ， 提 供 贯 穿 用 户 生 命 周 期 的 运 营
5、管 理 方 案 以 刺 激 新 进 、 活跃 、 付 费 转 化 ， 延 长 游 戏 生 命 周 期 。应 用 产 品场 景 化 标 签 服 务大 数 据 H5应 用 全 面 的 各 种 明 细 数 据 、 统 计 与 画 像 数 据 能 力 大 数 据 实 时 、 离 线 计 算 能 力 数 据 包 装 与 应 用 能 力场 景 ： 如 助 手 /官 网场 景 ： 如 精 准 营 销 活 动场 景 ： 如 玩 家 互 动 数 据DataMore实 际 场 景01剑 侠 情 缘 个 人 中 心 02王 者 荣 耀 英 雄 榜 03QQ炫 舞 年 度 回 顾游 戏 数 据 服 务 架 构数 据
6、接 口 中 心数 据 分 析 引 擎运 营 规 则 引 擎用 户 触 达 中 心报 表 统 计数 据 分 析DataMore触 达 运 营平台组件数 据 接 入实 时 传 输离 线 传 输数 据 处 理实 时 计 算引 擎离 线 计 算引 擎数 据 存 储KV存 储DB存 储位 图 索 引HDFS游戏内游戏外平 台 组 件 服 务 引 擎数 据 源 业 务 应 用数 据 采 集存 储 计 算应 用 落 地数 据 流 向 监 控DataMore体 系 技 术 架 构接 入 层逻 辑 层实 时 数 据 层STGW二 级 代 理Go server Go server PHP serverTRedis
7、MysqlPostgresqlHbase在 线 运 营 概 括 容 器 化 支 撑 持 续 集 成 交 付 HECD架 构 日 PV 6.35亿 日 均 发 布 变 更 15次 单 次 发 布 时 长 10秒数 据 计 算 层实 时 计 算引 擎离 线 计 算引 擎“ 布 道 ” 介 绍是 数 据 服 务 全 流 程 解 决 方 案 ， 采 用 DevOps思 想 实 现 软 件 的快 速 迭 代 、 快 速 试 错 ， 提 升 软 件 发 布 质 量 及 服 务 持 续 改 进 。布 道基 于 腾 讯 蓝 鲸 PAAS平 台 快 速 构 建建 立 在 DevOps思 想 的 实 践面 向 运
8、 维 、 开 发 、 测 试 、 PM具 备 持 续 集 成 、 交 付 、 部 署 等 快 速 迭 代 能 力具 备 服 务 质 量 跟 踪 、 用 户 舆 情 、 持 续 反 馈 能 力“ 布 道 ” 能 力 体 系布 道 体 系资 源 管 理TDocker日 志 采 集代 码 扫 描持 续 集 成作 业 平 台ijobs代 码管 理配 置 管 理CC账 户 管 理tjj现 网 流 量 引 入系 统 运 维so数 据 报 表监 控 告 警进 程 管 理持 续 交 付持 续 部 署CI/CD持 续 集 成&交 付在 线 运 营服务质量持续改进持 续 反 馈舆 情 监 控DevOps“ 布 道
9、 ” 服 务 层 架 构STGW IDC serverinternetEtcdConfdCI serverSCMImagesDockerregistryWorkingenvironmentcommithookscompile & buildpushrunhttp http/tcp*.cfg布 道 服 务 层 架 构持 续 集 成 &交 付 在 线 运 营 （ HECD）Haproxy HaproxyDocker Docker DockerTDocker服 务 运 营 闭 环以 DevOps形 成 的 服 务 运 营 闭 环 核 心 思 想 ： 持 续 改 进开 发 优 化（ 功 能 、 Bug
10、）用 户 反 馈(舆 情 管 理 、客 服 体 系 )快 速 迭 代(CICD)质 量 管 理（ 监 控 、 安全 、 容 量 等 ）持 续 集 成 &交 付典 型 CICD架 构1、 Docker架 构 优 势 保 持 跨 环 境 一 致 性 天 然 易 移 植 性 易 于 版 本 控 制2、 CI & CD流 程 编 译 并 构 建 版 本 镜 像 推 送 镜 像 仓 库 触 发 交 付 作 业 及 快 速 预 览持 续 集 成 &交 付SCMCIserver预 发 布正 式发 布代 码 自 检频 繁 合 并 主 干集 成 编 译单 元 测 试交 付 镜 像 &版 本 文 件一 键 部 署
11、配 置 选 择特 性 选 择CICD在 布 道 中 的 实 现Coverity外 网 流 量引 入持 续 集 成 &交 付代 码 扫 描 coverity 业 界 公 认 的 误 报 率 和 漏 报 率 极 低 的 静 态 代 码 检 查 工 具 发 现 较 深 层 次 代 码 逻 辑 问 题 （ 比 如 内 存 泄 漏 、 溢 出 、 数 组 越 界 、 未 初 始 化 等 ） 目 前 8.0版 本 支 持 C/C+、 Java、 C#、 NET、 JS、 Python、 PHP等 多 种 语 言CI ServerCoverityclientCoverityserverSCMTAPD敏 捷
12、开 发 平 台集 成 、 编 译得 出 中 间 文 件分 析缺 陷持 续 集 成 &交 付代 码 扫 描 Coverity持 续 集 成 &交 付现 网 流 量 引 入 高 仿 测 试 （ tcpcopy）DatalinkIPTCPApplicationservice tcpcopyDatalinkIPTCPApplicationinterceptserviceRequest12 34567现 网 流 量 引 入 流 程 ：1. 访 问 到 达 现 网2. socket包 在 IP层 被 拷 贝3. tcpcopy修 改 目 的 和 源 ，发 给 测 试 机4. 拷 贝 包 到 达 测 试 机
13、5. 测 试 机 处 理 并 返 回6. 返 回 在 IP层 被 截 获 丢 弃 ，由 intercept拷 贝 返 回 结 果的 ip header返 回7. ip header被 发 送 到 现网 tcpcopy进 程真 实 模 拟 测 试 验 证 ，有 助 于 提 前 发 现 问 题 ，有 效 降 低 发 布 风 险 ！灰 度 服 预 发 布持 续 集 成 &交 付持 续 集 成 、 交 付 实 例实 践 问 题 与 思 考 在 容 器 中 做 源 码 编 译 ？ 容 器 性 能 监 控 最 优 方 案 容 器 在 CI阶 段 的 网 络 选 择docker run -ti -privi
14、leged=true -restart=always -m 8g -cpuset-cpus=0,1,2,4 -v /var/lib/lxcfs/proc/uptime:/proc/uptime:rw-v /var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo:rw-v/var/lib/lxcfs/proc/meminfo:/proc/meminfo:rwlnmp-centos7 ./run.shLXCFS 增 强 隔 离 性 为 容 器 提 供 一 个 虚 拟 的 proc文 件 系 统 提 供 容 器 自 身 的 Cgr up目 录 树在 线 运 营 -容 量 管
15、 理 一 键 认 领 秒 级 扩 容在 线 运 营 -监 控 告 警思 路 ： 统 一 日 志 规 范 （ Tlog） 、 基 础 +特 性 (指 标 ) 日 志 集 群TGlog集 群GCS Localhost DNS实 时 告 警离 线 分 析Server1Server2Server3ServerNtlog1MasterSlavetlog2tlog3tlog4LVS+KeepaliveTDW蓝 鲸 数 据平 台蓝 鲸 智 能监 控EPR报 表 日 志 格 式 (demo)在 线 运 营 -监 控 告 警告 警 配 置 可 视 化 （ 蓝 鲸 智 能 监 控 ） 以 表 的 维 度 关 联
16、告 警 规 则 对 日 志 流 做 实 时 计 算 （ Storm） 规 则 支 持 灵 活 定 义 （ 支 持 SQL函 数 ）在 线 运 营 -安 全 防 御下 发 通 道布 道 下 发 防 护 策 略防 护 日 志WAF（ web application firewall） 安 全 防 御实 时 监 控 报 表CCIPCCXSSUA.Nginx+lua 预 发 布 阶 段 玩 家 灰 度 放 号 的 路 由 层在 线 运 营 -安 全 防 御防 护 方 法 实 现httpresolver 10.xx.xx.xx 10.xx.xx.xx valid=3600s;lua_shared_dict waf_rule
