《陈春润-平安云容器服务与运维平台的对接-平安》由会员分享，可在线阅读，更多相关《陈春润-平安云容器服务与运维平台的对接-平安（24页珍藏版）》请在金锄头文库上搜索。
1、平安云容器服务与运维平台的对接平安科技 云平台事业部陈春润主要内容平安云及容器服务简介01容器服务应用与运维03容器服务构建与运维02平安云概貌云主机Elastic Compute Cloud对象存储OBS弹性文件系统Elastic File System负载均衡Elastic Load Balancing 云备份Cloud Backup Service虚拟私有云Virtual Private Cloud块存储Elastic Block Store自动化部署Middleware/VADNoSQL数据库RDB数据库服务（ MySQL等）容器服务CaaS产品服务云门户身份管理 服务目录 产品订购
2、计费 /账单资源管理公共服务监控日志部署北京上海深圳云数据中心其他服务 安全平安集团子公司中包含金融行业的各个类别，不同 企业、不同来源、不同开发模式的业务系统对底层资源的 需求差异很大 。 所有这些需求对于平安云来说都是必须要满足的。因此 平安云会为用户提供不同类型的弹性 计算服务， 包括：物理 机：高性能，高规格虚拟机：灵活、安全的共享容器：灵活、轻量、快速交付这些不同的计算模式可以 共享相同的VPC网络，用户 可以根据应用架构选择将 一部分应用部署在物理机上，也可以部署在虚拟机 上或容器 服务中 。源起金融 行业用户需求特征计算 网络 存储容器 虚拟机VPC物理 机投资系统 保险 系统信
3、托 系统 基金 系统 其他 系统容器服务的设计 目标 自助服务对于大多数租户而言，希望能够使用容器服务加快环境部署的速度，提高扩容的效率，降低运维成本，因此平安云提供一套简单有效的容器服务产品，使得用户能够自助完成容器部署工作。自助式 容器服务（私有或公有云服务） 用户可定制容器基础 架构（ *） 公共镜像商城 私有镜像管理 支持混合部署 方式（ *） 兼容平安云基础 架构（ *） 兼容平安应用架构 规范（ *）公共镜像和私有镜像镜像Stack编排应用服务集群管理服务容器的简便化管理容器容器服务的设计 目标 流水线对于开发团队而言，希望拥有一套从开发测试到生产部署的流水线，容器服务作为流水线中
4、的实际运行环境，完成最后一公里的工作。全 流程部署自动化（私有云服务） 提供 API与 开发管理平台紧密 结合 支持开发 -测试 -生产环境部署流水线 用户可定制容器基础架构 支持“全容器”和“开发测试容器 +生产非容器”型部署需求 私有镜像版本管理 平台层服务 支持平安 云容器服务（ CaaS API）Wizard研发管理持续验证持续 集成基础服务平台构建与运维01 02 03 04 05产品规划01服务交付03持续优化05系统架构02平台运维04产品规划租户 管理 应用 管理 服务管理 镜像管理l 应用编排部署l 应用管理l 创建服务l 服务配置l 镜像商城l 公共镜像l 私有镜像环境管理
5、l 部署 容器服务l 管理运行环境l 环境授权l 管理主机系统架构架构约束 同时 支持物理机和虚拟机，支持动态添加计算资源 优先使用 IaaS的弹性计算资源 支持多区域数据中心分层架构，统一入口 容器平台无法解决的服务需要借助于外部服务，例如防火墙， ADC等 容器平台与运维平台（ ITIL，监控平台）的集成 兼容 VPC网络，因此需要采用简易的网络模型 利用基础的存储服务实现可靠的弹性存储，例如 DNAS租户 环境 主机容器服务应用1 n n11 nn 1镜像编排n n系统架构CaaS PortalPub HubAnsibleMySQL ClusterOrchestration（ ranch
6、er）Docker Server Registry MirrorDockerHostDockerHostDockerHostDockerHost云管区公共 服务区租户 VPCOPCM平安云服务交付使用容器编排1. 提供常见的编排方案，一键式部署应用2. 应用和编排相互转，个人编排发布到应用商城服务管理1. 详细的服务管理：服务信息、服务事件、服务配置2. 支持 shell、文件上传、镜像制作等扩展功能启动容器服务1. 对接平安云门户，用户可以一键启用容器服务，在私有的 VPC内完成部署。2. 支持多租户、多数据中心，租户可以选择指定的数据中心启动服务3. 租户亦可以使用容器平台提供公共租户，也
7、可以单独部署容器服务。镜像仓库1. 镜像商城：提供多种官方镜像，所有租户均可使用2. 公共仓库：每个租户拥有自己的公共仓库，租户内用户共享租户内镜像3. 个人镜像：支持将容器提交成镜像，下载官方和公开镜像新建应用和服务1. 应用：包含一系列相互关联的服务，这些服务组成一个系统，与 RSMS对接2. 支持 Docker ComposeV1编排方式 创建1. 丰富的服务创建配置：支持服务连接、端口映射、环境变量、目录挂载等多种策略等配置。创建容器环境1. 用户可以根据需求创建多套容器环境，并将自己的计算节点添加到环境中，实现底层资源的弹性扩容。2. 环境之间资源、服务等完全隔离，仅在管理态存在关联
8、。服务交付过程平台运维容器底层的主机监控依赖既有的基于 zabbix和 open-falcon的监控，监控数据推送到 EMP上。容器的运行状态数据直接展现给用户，方便快速诊断，应用层的监控由部署在主机上的监控agent来采集。监控管理容器的日志直接展现给用户，容器内进程的日志输出到指定目录，由主机端负责归档和处理。日志管理容器的增删改查等功能开放到门户上，由用户直接操作，同时提供了 SSH可视化 。同时在主机层也提供了一键登录的功能，使用户可以从主机层面通过 CLI控制服务。服务管理事件响应容器服务包含的事件分为平台层和应用层，均通过 case系统进行上报处理。平台运维日志与监控容器日志容器服
9、务平台日志：本地 +云平台 ELK日志服务容器自身运行日志：本地云磁盘 +云平台 ELK日志服务容器内应用日志：业务自行规划，已经提供目录挂载主机监控容器监控主机监控可以通过统一的 emp汇总报警信息并查询监控数据IaaS层主机则可从云门户直接查看相应的监控项容器监控：自 研发脚本，提供容器本身的性能监控(cpu/mem/network/storage)，监控平台定时获取，同时，能够在 portal上查看中间件监控：提供常见中间件的性能监控 (weblogic/tomcat/nginx等 )，为中间件镜像制作脚本，中间件监控程序整合到 docker镜像中， 容器一启动，就能即时上报性能数据 到
10、监控平台 ，无需任何外部干预平台运维智能化尝试持续优化待完善项功能优化编排功能的优化，将架构师输出的架构信息转换为compose文件图形化编排应用商城计费模式的改进监控检查的准确度和自动处理 机制流程优化租户自我 管理功能强化与外部流程的对接，固定流程的简化容器服务应用与运维业务场景开发平台应用架构需求分析服务编排服务集成配置管理环境部署应用版本发布镜像更新版本发布网络架构部署方案服务规划编排文件服务规划健康检查扩容缩容架构变更故障恢复运行监控在底层资源实现配置管理的基础上，配置管理主要实现用户应用信息的配置管理配置管理01容器服务对运维最大的价值点莫过于可以快速部署、快速扩容，但针对于不用的
11、应用架构，快速扩容的实现方法不同扩容缩容02基于文件和基于镜像两种部署方式，兼容用户习惯和容器特征版本发布03容器服务应用与运维背景网络方案 对外： Container Bridge，与外界通讯采用 端口映射 对 内：容器之间采用实现的 IPsec隧道实现容器支持的网络方案有很多种，而且在快速发展中。由于平安云已经有较好的 VPC实现，且容器服务作为计算三剑客的一员，需要适配 VPC网络，因此在网络方案选择时我们选择了较为成熟和简单的做法。每一个容器均可以将其内部端口映射到主机端，容器服务平台负责管理和分配服务端口，确保容器端口不会冲突。目前对于一个服务的多个容器实例，只能有一种端口映射方案。
12、容器服务应用与运维 镜像容器：采用 分层文件系统的 方式。考虑到我们需要支持的操作系统类型和文件系统的成熟度，使用devicemapper（ direct-lvm） 应用数据：采用 了 Volume接口或者直接 Volume映射。包含应用包目录，日志目录，应用文件目录。在生产环境，我们将应用包目录部署在高冗余度的 DNAS设备上，支持容器迁移和扩容。不需要迁移的目录在落在主机本地磁盘上。Docker Host Docker Host Docker Host Docker HostDNAS背景 存储方案容器服务 应用与运维背景 镜像库方案SZB-公共服务区Docker distribution
13、Docker distribution云 管区RegistryV2 RegistryV2SZB-租户 VPCdocker docker dockerDNASLvs+KeepalivedLvs+KeepalivedDNASDockerServer容器平台门户 由于平安云容器服务是跨机房部署的，因此分为两个管理层级，在镜像库管理和镜像更新过程中，会按照区域和镜像类型、活跃度进行提前推送以节省空间和时间，应用运维配置管理在容器实例创建时统一命名且终生不变。由于容器必属于服务，且一个服务下的容器具备相同的功能，因此服务共同的属性记录在服务配置项中。对服务的修改不影响容器实例的配置更新，容器实例仅在新建
14、、删除时存在变化。所有这些配置信息以容器服务平台纪录的为准，但会把与非容器有关的部分同步到 CMDB中供其他用户和平台查阅。容器实例是最小的配置项容器 实例应用 子系统服务集群租户 受益人应用运维扩容缩容开门红四五联动双 11双 12年底冲刺春节活动金融业务系统大多数情况下负载稳定，具备典型的双驼峰特性。但随着部分业务系统的互联网化，在每年的若干高峰期会存在非常迫切的扩容需求。如果应用架构不做调整，扩容最直观的方式就是针对负载均衡后的集群增加实例，由容器编排平台进行新实例创建和负载均衡配置调整。为了简化步骤，新实例外调防火墙需要提前开通或者通过 NSP平台开通。简化的做法还包括不实用 DNS（
15、如何 DNS服务没有自动化的话），避免 weblogic等中间件运行后修改配置，启动热部署等做法。扩容的另一个关键性用途包括服务克隆功能和灰度发布、流量路由功能。应用运维版本发布应用版本发布过程容器服务允许用户向已经部署好的服务中上传应用包并远程执行命令，容器所在的主机也具备完整的目录结构可供部署平台推送应用包，因此基于文件的版本发布流程可以和非容器流程完全相同，通过 DPM平台启动版本发布。用户也可以针对开发环境直接上传文件到主机并映射到容器内，通过此种方式，容器更像是一个普通的进程。基于文件自动化部署流水线支持自动打包和制作镜像，通过此种方式，可以一次性部署完整的服务，版本以镜像的形式存在。其他用户则可以在容器服务门户中选择编排，重新部署一套完整的应用。用户也可以通过上传文件完成调试后提交镜像，将改动更新到镜像库中。基于镜像THANKS
