《周清_《QQ空间亿级服务后台架构》PPT原版》由会员分享，可在线阅读，更多相关《周清_《QQ空间亿级服务后台架构》PPT原版（33页珍藏版）》请在金锄头文库上搜索。
1、ArchSummit全球架构师峰会 深圳站2016QQ空间亿级服务后台架构讲师介绍讲师： 周清（hankezhou） 部门： 腾讯/SNG/社交平台部毕业于中南大学，10年加入腾讯，一直从事QQ空间后台开发工作，主导过多次QQ空 间后台重构。目前重点投入空间直播的后台部分，也欢迎大家下载空间独立的app体 验。认识一下QQ空间空间的数据（仅参考） 总活跃用户数 超6亿 日DAU超3亿用户数 UGC日写操作量超2亿 照片上传量单 日超7亿UGC写量 照片总存储超 200P存储量 空间首屏日打开量超30亿访问量目录空间简介 系统架构 功能模块 系统演化之路 系统优化 用户侧流量优化 系统接入优化
2、系统容灾 全网调度 系统削峰主要功能模块基础数据接入（WNS）手机空间手机QQ用户数据关系链数据权限数据UGC数据分享系统日志系统留言板相册系统商城系统精细化FEEDS广告CDN服务图片视频说说系统Feeds系统好友动态 （30天好友混排 ）落地动态 （被动个人档）FEEDS推荐个性化设置SNS模型对比Feeds存储（数据量：9T，内存KV）空间拉模型拉取关系链链打开空间间拉取好友 Feeds好友0Feed0、Feed1、好友1Feed0、Feed1、好友199Feed0、Feed1、好友2Feed0、Feed1、 10w/s10w * 200/s200好友访问量： 10w * 200/s =
3、 2000w/s 总流量： 10w * 200/s * 20条/人 * 1k/条 = 3.2T 存储量： 9T(内存)时间戳存储（内存数组）优化后（引入时间戳&按天存储）Feeds存储（数据量：9T，内存KV）拉取好友 Feeds好友0Day010w * 10/s拉取好友 时间时间戳好友0NewFeeds_TS0好友1NewFeeds_TS1好友199NewFeeds_TS2Day1Day29好友1Day0Day1Day29好友2Day0Day1Day29好友9Day0Day1Day29访问量： 10w * 10/s = 100w/s 总流量： 10w * 10/s * 2条/人 * 1k/条
4、 = 16G存储量 9T （mem） 瓶颈问题： 1，越活跃用户失败率越高 2，越到晚高峰失败率越高 3，存储量瓶颈10w/s10好友时间戳存储（内存数组 ）再优化（引入索引）Feeds存储（SSD KV 9T）拉取好友 FeedsFeed_ID0Feeds_Data010w * 6/s拉取好友 ts好友0TS0好友1TS1好友199TS210w/s10好友Feed_ID1Feeds_Data1Feed_ID2Feeds_Data2Feed_ID5Feeds_Data3拉取好友 idx索引存储（内存KV 450G）好友0Idx0.idx19好友1Idx0.idx19好友9Idx0.idx19i
5、d0id5访问量： 10w * 6/s = 60w/s（请求再合并） 总流量： 10w * 6/s * 1条/人 * 1k/条 = 4.8G 存储量： 9T（SSD）问题： 1，越活跃用户失败率相对还是越高Sorted时间戳再优化（索引分时间段拉取）拉取好友 Feeds拉取好友 ts好友0TS010w/s拉取好友 idxid0id5计计算时间时间区 间间10好友(ts0 ts9)好友1TS1好友9TS910个好友 时间段( ts0 ts9)好友10TS10好友19TS19=20个好友 时间段( ts10 ts19)拉取索引(好友0:t0- t9) (好友1:t0- t9) (好友9:t0- t
6、9)越活跃，时间跨度就会越小目录空间简介 系统架构 功能模块 系统演化之路 系统优化 用户侧流量优化 系统接入优化 系统容灾 全网调度 系统削峰图片类流量-图片适配图片适配Server场景网络屏 宽转存裁 减加速域名 webp图片要求 图片规格动态调整，根据场景动态切换（单图、多图）（3G、WIFI） WEBP、h265等新格式使用。 流控，柔性控制非图片类流量-合理利用app的cacheAPP_CACHE动态动态0data动态动态NCellscell_user datacell_title datacell_like 动态动态0CRCcell_user CRCcell_title CRCce
7、ll_likeokcell_user delcell_title datacell_like动态动态0空间APP空间后台增量更新： 1，降低非图片类流量40% 2，打开速度也相应提升接入优化-WNS（Wireless Network Service）最优接入：GSLB测速WNS重复合并WNS重定向最小流量：gzipWNSgzipgzip跑马握手包gzip空间后台Protobuff二进制协议 数据压缩 重复合并WNS vs HTTP低效的原因优化方向优化每次需建立连接减少连接次数单一长连接DNS解析减少DNS请求次 数1）长连接； 2）wifi 才进行DNS解析 ； 3）2g/3g 优先ip直连
8、 结合重定向引导；http 协议消耗带宽利用率Tcp+ 二进制私有协议http 请求/应答串行带宽利用率多路复用请求中的重复数据减少传输重复数据 Session机制上下行数据量减少传输数据压缩目录空间简介 系统架构 功能模块 系统演化之路 系统优化 用户体验优化 系统接入优化 系统容灾 全网调度 系统削峰关于空间的几个案例08年圣诞晚会 深圳福永核心链路光纤被挖断812天津爆炸，天津IDC断电异地容灾成为必须！系统部署情况天 津深 圳上 海SET (i11i12)SET (i21i22)SET (i01i02)多地多SET部署SET模型数据存储同步中心同步中心写svr各功能写请求架平 TDB深
9、圳I福 永Link 1深圳I坪 山 Link 2上海南 汇汇Link 3天津滨滨 海 Link 4服务LinkPC 用户移动用户PC 接入SETWNS SET平台数 据SET用户feeds 信息中心SETSET模型1，设定大小标准 2，物理隔离，各独立服务 3，保证各SET是同构的数据同步同步中心传输可靠性，并保证有序全网调度异地容灾 50% buffer深圳上海深圳上海天津天津全网调度异地容灾 50% buffer异地容灾 50% bufferi01i02i11i12i21i22两地容一地，高峰开柔性全网调度的一些经验链路上有短板，切过去，撑不住Buffer不足，切过去，影响更大冷启动，ca
10、che命中率下降，撑不住评估慢，纠结半小时再操作，投诉爆了演习 一月来一次数据同步 数据一致柔性可用 降级服务全网调度实践目录空间简介 系统架构 功能模块 系统演化之路 系统优化 用户体验优化 系统接入优化 系统容灾 全网调度 系统削峰先认识一下空间的峰520零点零分?5201314 ?新年第一秒为什么要削峰？业务业务周末晚高峰春节节尖峰首页打开量(s)6.6w18wUGC写量(s)1.5w4.5wUGC互动量(s)5.5w14.5w3倍堆机器？服务半小时不可用？我们先分析下请求的特点红点引导35%计数引导25%PUSH引导7%请求来源细分其它28%有新动态80%无新动态20%请求新Feeds
11、数量预拉取5%其它92%间隔10s-30s内重复刷5%短时间内反复请求分部0s-10s内重复刷8%削峰策略-Feeds拉取预预拉取 （5%）20秒重复刷 （8%）刷新但无新内容 （20%）Push引入 （7%）首页页打开 18w关键键路径 （关闭闭非关键键拉取 ）调调小请请求等待超时时 （避免请请求挂住）减小消息队队列大小 （防雪崩）红红点、计计数引 入 （50%）首页页打开 9w技术层面体验层面体验有损： 1，10s的好友动态变更无感知 2，Feeds变更不实时 3，PUSH、计数推送不及时写的削峰策略较类似削量 （被动动引入的量 ）延缓处缓处理 （互动动性弱动动作 ）请请求合并 （时间时间
12、聚集动动作 ）模块块分级级 （用户户关注度低模块块 ）UGC发发表：4.5w UGC互动动： 14.5WUGC发发表：3.3wUGC互动动：8W关键键路径 （关闭闭非关键检查键检查 ）数据层层Cache （数据暂缓暂缓落地）增加消息队队列大小 （防脉冲）技术层面体验层面体验有损： 1，赞等互动通知会合并通知 2，个人档、UGC详情内容不实时 3，PUSH、计数推送不及时整理成柔性级别柔性类别类别柔性等级级目 标标 效果具体 策略作用 域用户户 体验验FEEDS 系统统 效果基础础数据 效果对对其它子 系统统效果读读柔性一级级柔性30%关预预 拉取好友动动 态态/个 人档无预预拉 ，翻页页 稍不顺顺 畅畅下降 5%下降5%无304.二级级柔性60%.三级级柔性100 %.写柔性.相册柔性.WNS柔性.系统柔性可用紧急服务基础服务灰度服务灰度服务完美服务低成本,满意柔性可用 ：能根据外部条件变 化快速响应，提供给用户最 适合的服务
