《飞信开放平台的资源分配与控制策略孙朝晖)》由会员分享，可在线阅读，更多相关《飞信开放平台的资源分配与控制策略孙朝晖)（26页珍藏版）》请在金锄头文库上搜索。
1、飞信开放平台 的资源分配与控制策略 开放、动态网络分享、综合性网络服务 October 11 1 飞信开放平台技术总监 互联网产品首席架构师 孙朝晖 私人广告 October 11 2 首先希望遭到关注并通过微博交流 本人职责 “飞信开放平台”总体技术架构设计 飞信互联网相关产品的技术规划 飞信技术社区建设，特别欢迎与同仁广泛交流 目 录 飞信开放平台的业务特点 飞信开放平台对合作伙伴OPEN API的资源 控制 飞信开放平台用户的服务资源分配 飞信开放平台缓存资源分配策略 October 11 3 飞信开放平台的业务特点 October 11 4 飞信开放平台是一个内容合 作型的服务平台，将
2、各种内 容源聚合到飞信的Web， PC，手机，短信全客户端渠 道 合作服务类型合作服务类型 微博类微博类 SNS类类 视频视频、文学文学、咨咨 询等内容类询等内容类 电子商务类电子商务类 飞信开放平台合作伙伴的数据通信方式 October 11 5 飞信主动同步类型 飞信利用第三方服务开放平台功能拉取TimeLine ，并发布Feed（如新浪、腾讯微博） 飞信被动同步类型 第三方服务调用飞信开放平台API将动态主动推送 到飞信开放平台上（多数互联网合作伙伴） 双方相互同步类型 双方相互向对方推送动态（如移动微博，开心网） 客户端类型 飞信以及第三方开发的PC，手机客户端，收发AP I据需要 飞
3、信开放平台对OPEN API的 资源分配策略 October 11 6 飞信开放平台对OPEN API的整体分配策略 October 11 7 飞信开放平台通过基于RESTFUL的OPENAPI 提供 数据通信接口，根据不同的限制区域和服务级别，分 成不同的服务器群集 七层交换集群 客户端客户端 服务群 服务群 试验服试验服 务群 务群 普通服普通服 务群 务群 高级服高级服 服务群 服务群 主动同步主动同步 抓取服务抓取服务 群 群 动态中心服务平台 Push服务群 飞信开放平台对API访问频次控制方法 October 11 8 访问频次限流+按应用、IP、和用户ID的组合 限流策略 请求频
4、次限流，限制同一IP的并发连接数， 防止过多的并发 采用Nginx limit traffic rate module limit_zone one $binary_remote_addr 10m; 针对不同应用类型的制定组合资源限制策略 飞信开放平台对API访问频次控制方法 October 11 9 限流策略 试验区应用全部采用每应用、每小时单一频次限 制策略 客户端服务器集群全部采用每用户ID，每小时单 一频次限制策略 对于中等规模应用（主要针对普通服务集群的We b应用），采用每IP （Server IP）频次限制，同 时每应用访问总频度设置上限 对于大规模应用（主要针对VIP服务区的W
5、eb 应用），采用用户频次限制，同时每Server IP设 置上限 正在开发当中有每Server IP + Client IP频次限制 ，（主要应对匿名访问需求） 飞信开放平台对OPEN API频度控制的技术策略 October 11 10 总体策略： 控制精确度让位于服务响应时间和服务器资源开销 不同区域根据访问量和控制要求设计不同的控制方 法 试验区：控制精度优先 同步控制：先检查修改计数，然后响应请求 在Redis中采用INCRBY进行修改，定期刷新DB 普通区 异步控制：首先检查，返回响应，同时异步修改计 数 October 11 11 对于VIP 区域的完整异步频度控制体系 飞信开放
6、平台对OPEN API频度控制的技术策略 Web Server API Server 客户端 1： 请求 API 频度技术 状态 2： 检 查 3：响应 频次计数服务 4：增加技术 进程内计数缓 冲 5：更新频度状 态 持久化 7：定期 刷新DB 记录日志 Redis缓存 6：批量 用户访问 计数 飞信开放平台对应用服务器资源 分配策略 October 11 12 飞信开放平台对于Feed处理计算资源分配 October 11 13 用户通过Web或 者OPEN API发布 发布 队列 发布处理进程 （Feed内容写入） 本站 分发 队列 抓取进 程 外站 发布 队列 外站发 布处理 进程 动
7、态分发 进程 Push 队列 对外站 Push进 程 外站 分发 队列 动态分发 进程 动态分发 进程 飞信开放平台对于Feed处理计算资源分配 October 11 14 Feed的发布与好友Timeline的分发，通过多 队列计算进程进行处理，队列按处理优先级 分布为 本站发布队列（本站用户的发布内容记录以及写入 Timeline） 本站分发队列（向本站好友分发Feed） 外站Push队列（将Feed发布到绑定的服务） 外站Feed发布与分发队列（每服务一个或者多个 任务处理队列，用于来自合作伙伴的Feed转换 分发） 飞信开放平台对于Feed处理计算资源分配 October 11 15
8、Feed发布与分发进程 发布进程优先，优先完成内容写入 分发只处理Timeline，Timeline索引存储按照时间分 片 优先本站内容分发 与合作伙伴同步的进程进程的资源分配 Push进程与Fetch进程分离，Push进程无频度控 制策略，优先发送 Fetch进程每服务对应1个或者多个，根据不同的 用户抓取的优先级进行分级处理，Feed发布频度 越高，分配进程数越多 飞信开放平台内容抓取资源分配策略 October 11 16 按照合作伙伴业务类型分配 微博类优先，对应在线用户队列执行频度比非微博 高 根据用户属性制定不同的抓取频度策略 在线队列（微博类3分钟，非微博类10分钟） 低活跃用户
9、队列 高活跃用户队列 用户活跃度定期计算，非在线队列2小时进行重 新划分与装载 飞信开放平台用户存储资源分配 October 11 17 用户最新动态缓存容量分配 除了固定的用户资料存储，为在线用户分配一定 数量的最新Feed 存储Slot，减少DB读写 Slot数量分成3个等级，微博用户，多绑定多好友 用户，低绑定用户 DB数据存储策略： 微博类Feed与其他类分开 微博类Feed按照时间老化 非微博类Feed按照固定配额分配存储资源 飞信开放平台缓存资源 分配策略 October 11 18 飞信开放平台的缓存分配体系 October 11 19 资源缓存体系 资源缓存体系 浏览器缓存 C
10、DN 7层交换前部缓存 图片服务器的Web应用 缓存 数据缓存体系 数据缓存体系 浏览器本地缓存 Web Server 数据缓存 Redis缓存服务器 中间件服务器本地缓存 数据库服务器的 Buff erPool 减少数据流量，提高Web 加载速度，提升使用体验 减少数据库直接读取，减少 重复计算，降低计算负荷 Web服务器输出缓存 数据类缓存体系的总体技术架构 October 11 20 Web 服务器 Redis全局缓存区 浏览器本地数据缓存 浏览器本地数据缓存 输出缓存 输出缓存 ESI局部局部 输出缓存 输出缓存 APC ， Session 数据缓存 数据缓存 无缓存的无缓存的7 7层
11、交换 层交换 全局缓存全局缓存 区域 区域 弱弱Session 区区 强强Session 区区 中间件服务器 缓存区 LRU Pool 数据库的InnoDB Buff er Pool Web服务器数据缓存 October 11 21 APC 存储基于Shmop 代码缓存 典型应用场景：全局统一的不易变内容 例如：全局配置（频度限制等） Session 本地Session仅用于保存短声明周期过程数据 存储基于文件 典型场景：OAuth认证过程中间Token Redis缓存体系 October 11 22 Redis缓存与数据区域对应，隔离影响范围， 防止全面雪崩 Redis分成了三个区域 全局区
12、域 特点：全局共用，对各Web，中间件Server等价 ，重建成本低 典型应用：短连接的地址映射缓存 构建方法：多Server多进程一致性Hash，无 Persist，无复制 Redis缓存体系 October 11 23 弱Session区 特点：与用户相关，要求一致性低，重建成本低 典型应用：每用户的Session 典型对象：好友列表、隐私设置，50条最新动 态（满足Ajax轮循加载） 构建方法：采用多对一复制方案，无永久存储 Redis缓存体系 October 11 24 强Session区 特点：与用户相关，要求一定程度的一致性，构 建成本高，存储占用量不高 典型应用：用户的在线队列，用户调整动态同步 的抓取优先级 构建方法：采用DiskStore方案，一对一复制， 感谢！ October 11 25
