《华为容器在kubernetes上的技术实践之路》由会员分享，可在线阅读，更多相关《华为容器在kubernetes上的技术实践之路（29页珍藏版）》请在金锄头文库上搜索。
1、华为容器在K8S上的技术实践之路 黄毽 华为云PaaS产品部 容器服务架构师 容器发展趋势 华为PaaS发展历程 华为云容器服务技术全栈 华为云CCE容器服务关键特性 华为云CCI容器实例服务技术展望 容器惊人的发展速度 2015Q12015Q32016Q22017Q12017Q3 1亿 10亿 40亿 120亿 240亿 数据来源： Docker镜像下载量 容器的三大好处， 为应用而生 资源隔离与利用率提升 秒级弹性 环境一致性，简化交付 Cloud 2.0 Cloud 1.0 KVM VM XEN VM 虚拟机 资源服务 以应用为中心 提供能力服务 容器化、微服务化 开放互通的混合云 Io
2、T 视频 Istio 容器与微服务是企业云战略转型的关键 Kubernetes 成为容器编排 事实标准 Service Mesh 成为微服务 新热点 Serverless在公 有云应用渐宽 Istio 容器是云原生技术发展的第一波热潮 2014201320182016 华为PaaS项目启动 基于CloudFoundry 构建PaaS平台 华为PaaS项目二期 (FusionStage) 切换至Kubernetes平 台，并大力投入K8S 与CNCF 华为云容器引擎服 务发布 国内首家基于 Kubernetes的公有 云容器服务，提供企 业级保障 华为云容器实例服 务发布 全球首家基于 Kube
3、rnetes的公有云 Serverless容器服务， 容器免运维、按需使用 KubernetesKubernetes 华为云容器实践历程 Why choose Kubernetes? 容器服务的目标就是打造Cloud Native应用的运行环境 容器存储容器引擎容器网络 集群部署自动化 镜像仓库镜像安全秘密管理 编排调度 服务发现服务治理 数据库服务 消息及实 时流服务 源 码 管 理 应用管理 与镜像构 建 持续集成与交 付 应用运维 日志 监控 事件 告警 调用链 容器服务的目标就是打造Cloud Native应用的运行环境 华为云K8S全栈容器服务 应用编排交付运维治理全生命周期 应用运
4、维管理 丰富可定制的容器应用立体化运维 容器镜像服务 容器镜像一站式构建、存储与 交付 应用编排服务 应用云上自动化编排与设施管理 云容器实例 基于K8S的Serverless容器服务 云容器引擎 企业级高可靠、高性能K8S服务 服务网格 K8S原生Service Mesh 华为云容器服务：构建公有云上Kubernetes最佳实践 典型行业：互联网应用，游戏、生物基因等 云容器引擎 CCE 国内首发 裸金属容器 全球首发基于 K8S容器实例CCI 国内首发 Windows容器 企业级增强， 高性能，高可用 业务响应效率提高两倍 无服务器容器服务， 极致按需使用 海量Windows应用上云 GP
5、U/FPGA硬件 加速 专属硬件加速 开源、开放、全面生态 原生支持Kubernetes与docker生态 提供K8S生态工具：Istio、Helm、Prometheus 提供原生API，支持原生命令行Kubectl、istioctl 提供图形化控制台，端到端完整用户体验 增强的商用化特性 通过自动化配置、构建、部署提升业务上线效率 通过跨可用区高可用和控制面HA提升业务可靠性 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能、异构基础设施 主流OS支持：Windows、Redhat/Centos/Ubuntu 异构机型：虚拟机、物理机、ARM/GPU/FPGA服务器 异构存储：云硬盘
6、、对象存储、文件存储 全面公私网络：VPC私网、EIP公网、L4/L7 ELB、NAT网关 华为云容器引擎CCE：高性能、高可靠的企业级Kubernetes服务 图形化控制 台K8S Native API Monitoring Logging Auto-Scaling Events 容器运维管理 应用管理 容器编排 K8S Cluster Management K8S Container Orchestration Helm Package Management Helm Application Catalog K8S 集群1 华为云计算/网络/存储服务 (ECS, EVS, OBS, SFS
7、, VPC, ELB, NAT, BMS, ) Node 1 K8S 集群N Pod 1 Container Container Container Pod N Container Container Container Node N Pod 1N Container Container Container Node 1N Pod 1N Container Container Container 服务治理Istio Service Mesh Service Release Management 通过HELM来驱动自动化部署 困惑：镜像不会用，配置复杂 不知道容器需要配置那些端口？ 需要书写Ku
8、bernetes Mainfest，学习门 槛高？ 应用由Deployment，Service等多个K8S 对象组成，无法一键部署。 最佳伴侣 Charts.yaml KubernetesKubernetes PaaS on PaaS的实践 华为的PaaS服务完全运行在Kubernetes之上，通过AOS+HELM+K8S实现自动化运 维，效率显著提升。 云管理面云管理面 AOS应用编排系统应用包管理 Kuberentes管理集群管理集群 AOM 应用运维系统 管理面管理面镜像仓库 运维人员 CCE 容器引擎服容器引擎服务 CCI 容器容器实例服务 SWR 容器容器镜像仓库 DCS 缓存服务
9、服务Package: AOS Blueprints Helm Charts Base Images 应用层Image（去重） 通过HELM构建应用市场简化用户上手难度 支持GPU异构计算 加速计算应用程序容器化，部署在公有云容器服务。 将指定的GPU资源分配给容器，支持多容器共享GPU 卡，后继支持GPU虚拟化与池化。 与华为云各类GPU服务器与GPU实例垂直整合，支持 丰富的GPU加速应用场景。 主流DL框架 Kubernetes ICAN容器网络 北向标准接口 南向网络模式 CNI Overlay L2Underlay L2 VPC RouterIPVlan DPDK Overlay L3
10、Underlay L3 Neutron 公司私有云客户场景多样化，华为ICAN容器网络北向支持CNI网络接口，南向插件化支持对接多种网络模型。 Kubernetes服务IPVS负载均衡 规则线性匹配时延 KUBE-SERVICES链挂了一长串KUBE-SVC-*链；访问每个service，要遍历每条链直到匹配，时间复杂度 O(N) Service基数1500020000 Rules基数840000160000 增加1条Iptables规则50 us11 min5 hours 增加1条IPVS规则30 us50 us70 us Metricsnumber of serviceIPVSIptabl
11、es Memory Usage 1000386 MB1.1 G 5000N/A1.9 G 10000542 MB2.3 G 15000N/AOOM 500001272 MBOOM CPU Usage 1000 0% N/A 500050% - 85% 1000050%-100% 15000N/A 50000N/A 可用性 后端实例扩容，服务会话保持时间更新等都会导致连接断开。 可扩展性 当系统存在大量iptables规则链时，增加/删除规则会出现kernel lock Another app is currently holding the xtables lock. Perhaps you
12、want to use the -w option? 规则更新时延 非增量式 Kubernetes原Service的Iptables方案无法支持大规模容器集群, 集群的Scalability遇到较大挑战。 内存消耗大 随着service变多，内存消耗巨大。 Kubernetes服务IPVS负载均衡 Kubernetes Service的IPVS模式已经贡献到社区 1.8版本Alpha 1.9版本Beta 1.11版本GA 如果你的集群规模较大，Service较多，建议您选择IPVS模式。 Kubernetes容器 & Istio服务网络 Kube-APIServerEtcdistioctl /
13、 kubectl Pilot Envoy SVC Pod Node Envoy SVC Pod Node Envoy SVC Pod list/watch (Service, Endpoints, Pod) 用户Helm Kubernetes与Istio完美融合，提供微服务的一体化的部署及治理体验 Kubernetes容器 & Istio服务网络 微服务 部署运维 微服务治 理 调用链追踪 动态路由 熔断限流 负载均衡 服务发现 扩缩容 运维 部署 Kubernetes Istio 微服务容器 IstioK8s 治理 运行 编排 融合 业界已经有哪些容器实例服务? Container Inst
14、ance ServerlessServerless ContainerContainer Azure ACI CCI：Serverless Kubernetes，让弹性与成本可以兼得 K8S-Native Serverless Container 原生支持Kubernetes API与命令行 无需用户感知K8S集群及物理资源，设施免运维 提供图形化控制台，端到端完整用户体验 Hypervisor-Based Secure Container 原生支持Kata Container，Docker生态兼容 内核虚拟化技术，全面的安全隔离与防护 自有硬件虚拟化加速技术，更高的安全容器性能 高性能、异构
15、基础设施 异构服务器：X86、ARM服务器 异构芯片加速：GPU、FPGA加速芯片 华为云高速网络与存储集成：EVS、OBS、VPC、ELB AIWeb AppCI/CDFunction K8S 集群联邦 华为云网络、存储服务 (EVS, OBS, SFS, VPC, ELB, NAT, ) K8S 集群1 Node 1 K8S 集群N Pod 1 Container Container Kata Container Pod N Container Container Kata Container Node N Pod 1N Container Container Kata Container
16、 Node 1N Pod 1N Container Container Kata Container GPU加速型服务器FPGA加速型服务器 统一资源池管理 X86 服务器ARM64 服务器 Genomics 以Kubernetes为基础打造CCI容器实例服务 CCI Console(用户） (容器API及联邦) CCI API Server/ CCI Federation （容器编排）CCI Kubernetes Master 物理机物理机物理机 Kubelet iCanFUXIDocker Kata CRICNI FlexVolume (容器网络) iCan Master IaaS （容器存储） Container Storage Mgr VPC网络 IAM (监控Agent) ICAgent AOM 应 用 运 维 管 理 iCluster Manager CCI OM Console(管理员）
