《自定义数据处理平台的容器化实践-七牛云资深研发架构师-袁晓沛》由会员分享，可在线阅读，更多相关《自定义数据处理平台的容器化实践-七牛云资深研发架构师-袁晓沛（36页珍藏版）》请在金锄头文库上搜索。
1、ArchSummit全球架构师峰会 深圳站2016七牛自定义数据处理自我介绍 袁晓沛 经历：盛大、七牛、EMC、七牛 领域：分布式存储，容器、微服 务，大规模数据处理大纲 业务、产品介绍 官方数据处理 业务特点、挑战 架构演化 解决方案 自定义数据处理 业务特点、挑战 注册、开发、构建 启动、升级、伸缩业务定义 针对海量数据 提供零运维、高可用、高性能的数据处理服务 日处理数近百亿次 让用户轻松应对图片、音视频以及其他各类数据的实时、 同步处理场景处理方式 官方数据处理 提供基础的数据处理服务，包括但不限于图片转码、水印、原图保护、防盗链等，及音视频的转码、切片和拼接等。 自定义数据处理 允许
2、用户构建、上传自定义的私有数据处理服务，并无缝对接存储在七牛 的数据及其他数据处理服务。 第三方数据处理 开放应用平台，提供大量功能丰富的第三方数据处理服务，如图片鉴黄、 人脸识别、广告过滤、语言翻译、TTS等。使用方式图片URLUFOP命令请求参数原图结果官方数据处理 挑战 请求量非常大 突发流量频繁 CPU密集型计算 IO操作频繁官方数据处理 - v1官方数据处理 - v2增加 Discovery 组件 ，收集 Agent 上报信 息FopGate 从 Discovery 获取集群信息，做 LB增加业务 Agent上报后端信息上报保活信息单机内 worker LB系统测量 FopGate
3、单机最大请求数、句柄数 根据实际的业务量，确定机器数 Image/Audio/Video Worker 找到资源使用最佳范式 根据最佳范式，合理分配资源、配置实例 意外发现 大实例、高并发，不如多实例、限制并发 操作系统对CPU调度，比进程好增加队列 服务质量 请求排队，不争抢资源 保证运行速度最快 运营角度 根据节点个数、队列长度， 区分免费、付费客户 免费用户，确保高可用 付费用户，确保高质量限流 为什么限流？ 大量长链接影响FopGate性能 突发流量，导致队列过长 限流手段 并发HTTP请求限制 单用户请求数限制 但Cmd数限制合理协调IO、CPU 为什么？ 下载、写盘、处理、写盘、返
4、回 协调方式 总原则：就近计算 FopAgent、Worker混布(1:N) 缩减网络IO的路由次数 挂载ramfs，将内存当磁盘使用 跳过磁盘IO自定义数据处理挑战 处理程序由客户提供 安全性 隔离性 业务规模不确定性 可伸缩性自定义数据处理 - 业务流程注册$ ./qufopctl reg ufop-demo -m 2注册后端ufop.ymlufop.tar构建$./qufopctl build ufop-demo -d ./ufop-demo- folder构建后端使用Debian镜像服务- 经常下载超时- 下载出错后，需要手动清除- 首次全量下载- 定时增量更新AppRoxDebian
5、 Pkg Mirror避免Docker构建缓存-RUN curl -o jdk.tar.gz https:/dn-qcos.qbox.me/jdk-7u15-linux-x64.tar.gz-RUN mkdir -p opt & tar -xf jdk.tar.gz -C /opt & rm -rf jdk.tar.gz+RUN curl -o jdk.tar.gz https:/dn-qcos.qbox.me/jdk-7u15-linux-x64.tar.gz + & mkdir -p opt + & tar -xf jdk.tar.gz -C /opt + & rm -rf jdk.tar
6、.gzWrongCorrect调整实例数$./qufopctl resize ufop-demo -n 3升级实例$./qufopctl upgrade ufop-demo -r 1:2灰度升级阶段升级的细化 新实例WarmUp 内存池、线程池、连接池初始化，初始请求太慢 设定预热时间段，期间请求权重比正常小一点 老实例CoolDown 老的请求正在处理，直接停掉影响可用性 应用Docker StopWait 计算冗余 预留足够的计算冗余 升级步长 小于冗余实例数数据流 - v1数据流 - v2自动伸缩设置 用户配置 默认实例数 平均单实例待处理任务数 是否自动伸缩 自动伸缩 增大、或者缩小实例数，以保证： 平均单实例待处理任务数自动伸缩后端解决方案 安全性 借助iptables 隔离性 借助容器的cgroup 可伸缩性 实现容器调度系统，支持秒级伸缩 暴露伸缩API，手动伸缩 利用队列长度，自动伸缩
