《Docker在大规模计算集群中的应用实践.pptx》由会员分享，可在线阅读，更多相关《Docker在大规模计算集群中的应用实践.pptx（21页珍藏版）》请在金锄头文库上搜索。
1、Docker在大规模计算集群中的应用实践 Agenda 我们的需求虚拟化的问题Docker带来的变化我们的实践未来展望 UCloud的计算类产品 计算uhostuphost托管云next 计算能力如何做成分布式的服务 我们的需求 用户的需求以服务化的方式直接使用计算资源 不需要关心资源的位置内部的需求业务跑在虚拟机上 每次扩容都要向资源部门申请资源部署和运维工作量大 我们的资源 数以万台的服务器大量的CPU和内存资源如何以服务的方式方便使用这些资源 虚拟化的问题 隔离性好 但调度粒度过大以资源为中心而不是以服务为中心用户需要关心vm的部署和监控 Docker带来的变化 更细的粒度更轻的调度易于
2、部署计算资源做服务化打包 提供以服务为中心的视角 我们的实践 内外结合的方案docker隔离性问题 以docker为粒度提供对外服务并不安全采用vm docker的模式将程序打包成docker 以api方式执行拉起服务和停止服务vm采用CoreOs 更小的资源消耗 强大的集群管理能力 产品架构 API LB coreoscluster coreoscluster coroscluster DockerRegistry User TaskManger CoreOsCluster CoreOsUnit 每个CoreOs节点部署一个TaskExecutor管理任务执行TaskExecutor通过Do
3、cker执行任务 并通过Docker的标准输入和标准输出交换数据 CoreOs TaskExecutor docker docker docker 模块描述 DockerRegistry用于存放用户的Docker镜像TaskExecutor往zookeeper集群上报计算节点状态TaskManager从zookeeper进群获取计算节点状态并按照分配算法选择任务执行节点所有管理模块都以golang开发 并以Docker方式运行 服务使用方式 用户将服务打包成Docker并上传到我们的Docker仓库通过HTTPAPI方式调用任务 拉起Docker完成计算Docker跑在CoreOs集群中 位置
4、和调度由TaskManager完成忘掉资源 忘掉部署 专注业务 CoreOsCluster 通过etcd存储计算节点信息通过fleet服务管理计算节点以Docker方式执行任务 产品核心功能 提交任务 任务参数 输入 docker镜像路径 输出 超时时间 任务分为同步任务和异步任务同步任务需要同步等待任务返回 适用于实时计算异步任务提交后根据任务id获取结果 适用于离线计算获取任务结果获取任务状态 应用案例 UFILE图片处理 ufile是UCloud的类S3服务ufile的图片处理涉及到大量的计算将ufile的图片处理算法打包成Docker 应用案例 UFILE图片处理 要求实时性源图片通过
5、数据流输入目标图片通过数据流输出 应用案例 UFILE图片处理 实现基于数据流的实时计算将输入流重定向到Docker实例的标准输入图片处理算法读取标准输入并将处理结果输出到标准输出管理程序将Docker标准输出变成HTTP流返回给用户 应用案例 UFILE图片处理 User SubmitTask ReturnTaskResult Docker Docker Docker API TaskManager CoreOsCluster 踩过的坑 建议使用OverlayFs 性能要比其他StorageDriver性能要好TaskExecutor执行完任务会删除Docker实例 触发了内核bug 导致CoreOs重启http marc info l linux fsdevel m 146067774503578由于这个bug在目前还没合入主线版本 我们删除Docker实例时做了串行化的方式来规避 实时流计算 带宽和负载压力很大 我们根据计算 对TaskManager管理的资源进行分Set部署 API通过UCloud的内网ULB技术满足大流量的负载均衡 未来的展望 目前只支持一次性任务 例如图片处理 Docker本身没有网络能力增加对持久化服务支持 ServerlessArchitecture增加对大数据处理的支持 基于UCloud的Ufile做存储 满足更多的计算场景
