《企业大数据云平台功能优化方案》由会员分享，可在线阅读，更多相关《企业大数据云平台功能优化方案（38页珍藏版）》请在金锄头文库上搜索。
1、企业大数据云平台功能优化方案目 录1. 云服务平台方案31.1 概述31.2 优化完善方案31.2.1 平台层优化完善32. 其他功能描述352.1 其他优化需求352.2 非功能性需求362.2.1 范围362.2.2 可用性362.2.3 易用性362.2.4 可维护性372.2.5 低耦合性382.2.6 可伸缩性382.2.7 架构约束381. 云服务平台方案1.1 概述优化完善和运维方案重点描述我公司在本项目实施过程中针对于大数据云平台按照招标文件的要求是如何开展运维服务和优化完善先关工作的，将分别从平台层、数据层、功能应用优化、数据服务优化等多个维度展开相应的叙述。1.2 优化完善
2、方案1.2.1 平台层优化完善1.2.1.1 大数据产品优化完善1.2.1.1.1 云服务器ECS优化完善云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，总局云平台ECS主要应用于大数据应用的搭建。总局云平台云服务器ECS优化完善工作体现在资源管理、产品运维两大方面。资源管理方面为了加强对云平台资源的管理与维护，提高已分配资源、已上线应用的可靠性、安全性和稳定性，充分发挥云平台系统的优势，方便各项目组人员了解云平台资源的申请流程，明确甲乙方职责划分，提高日常工作效率，我们制定并实施了资源管理相关规范，规范云平台应用开发商、总局各司局单位、省局各单位
3、以及云平台资源管理负责人、实施人在ECS资源消费过程中明确各方职责方便总局统一把控管理。在产品运维方面明确云平台未来1到2年对云服务器ECS的业务需求，结合实际生产将ECS产品优势最大化发挥。一、 业务需求1、增值税发票系统、数据服务平台系统均有高并发要求，需要搭建多台ECS应用系统集群满足并发量要求。2、应用系统在现有预生产环境和生产环境前提下新增用户培训环境，可同时满足1-2万人在线培训使用。3、满足未来新业务系统上云要求。二、 产品优势配置管理：提供 API 接口，用户可自行创建不同规格的虚拟云主机，自定义 CPU、内存、 网络、磁盘等属性。使用云服务器与传统托管物理服务器使用方法完全相
4、同，用户对云服务器有完全控制权，可通过远程的方式或 API 的方式（控制面板）来对云服务器进行一系列基本操作。云服务器的计算能力可用虚拟 CPU，虚拟 MEM 来表示；磁盘存储能力可用云磁盘容量来衡量。区别于传统服务器，云服务器具有较为灵活的机器配置。用户可以根据需求灵活配置云服务器，在服务器运行过程中，如果现有服务器配置不能满足业务需求，可随时调整服务器配置。监控管理：提供虚拟云主机的动态升级、快照备份、性能监测分析、异常告警、日志管理等功能。云服务器数据在平台有三份数据拷贝，单份数据损坏对云服务器使用没任何影响，且一份数据损坏后，后台系统会自动拷贝，使数据始终保证三重备份。基于快照的快速数
5、据备份与恢复：磁盘快照是弹性磁盘在某一特定时间点的副本，是保留和恢复磁盘数据非常有效的方法之一。通过磁盘快照可以在磁盘数据发生问题后恢复到快照时间点，从而有效保护了弹性磁盘的文件系统和数据。尤其在升级应用和服务器及打补丁的时候，快照可以发挥非常关键的作用。当集群资源不足或云服务器网络遭受攻击时，将会进行报警提示，以方便运维人员对集群进行管理。故障恢复：故障恢复指云服务器发生故障时可快速恢复，故障恢复时间非常短。在线迁移：在线迁移指云服务器在不停机状态下从一台物理服务器迁移到另外一台物理服务器。在线迁移时，云服务器应用完全不中断，用户完全无感知。通过在线迁移可以根据物理机负载情况调度资源，并可实
6、现业务不中断下的集群运维。快照管理：提供自定义快照能力，支持对运行或停止状态的虚拟云主机生成快照，应提供分钟级别快照回滚功能。ECS提供基于快照的快速数据备份与恢复：磁盘快照是弹性磁盘在某一特定时间点的副本，是保留和恢复磁盘数据非常有效的方法之一，ECS可以支持对运行或停止状态的虚拟云主机生成快照。通过磁盘快照可以在磁盘数据发生问题后在分钟级别将快照回滚到相应时间点，从而有效保护了弹性磁盘的文件系统和数据，尤其在升级应用和服务器及打补丁的时候，快照可以发挥非常关键的作用。资源隔离：对不同用户的虚拟云主机提供安全组和 VLAN 级别的隔离，确保不同用户之间数据互不可见。安全组用来实现一组 VM
7、同时对外的防火墙权限，安全组间相互隔离，可在公有云中形成一块网络的私有安全域。单个安全组可容纳 200 台云服务器，创建一台云服务器实例必须为其指定一个唯一的安全组。ECS支持新建安全组，新建安全组有如下防火墙规则：安全组内云服务器网络可互通；安全组对外的访问权限全部关闭。且此防火墙规则对安全组内所有的云服务器同时有效。安全组防火墙规则可以根据用户需求进行设置：支持下面两种防火墙规则的设置：1)设置通过某个 IP 或 IP 段通过某种协议来访问安全组的某个端口；2)设置某个安全组通过某种协议来访问安全组的某个端口。通过第二种方式可实现安全组间的网络打通。网络组是划分虚拟机的一个逻辑概念，主要用
8、于控制虚拟机间的网络访问。默认情况下，只有处于同一个组的虚拟机间才可以相互访问的，而不同组的虚拟机是不能相互访问的。一个虚拟机只能属于一个组。虚拟机的组是在创建虚拟机时指定的，并且一旦创建该虚拟机，虚拟机的组不可以再改变。默认情况下，使用系统的每个用户有一个默认的组，每个用户的默认组是不同的。用户在创建虚拟机时，若未明确指定组，则虚拟机将属于用户的默认组。用户可以创建除其默认组之外的其他组，并在创建虚拟机时指定该分组。这样，用户可以将自己的若干虚拟机分配到不同的网络组里，按需规划自己的网络安全结构。弹性网络：支持虚拟路由、虚拟交换机和弹性 IP，可自定义虚拟云主机的网络拓扑和 IP地址。云平台
9、弹性计算平台为虚拟机提供了安全可靠的虚拟网络环境，使得用户的虚拟机虚拟机之间可以相互联网访问，也可通过Internet访问指定的虚拟机。虚拟机的网络与平台自身的物理机之间是完全隔离的，虚拟机无法访问到物理机的网段，这保证了物理机环境的安全性。云平台弹性计算平台使用了网络组的概念，来划分虚拟机的网络环境。属于同一个网络组的虚拟机之间可以正常相互访问。默认情况下，一个网络组内的虚拟机不允许访问另一个网络组的虚拟机的。每一个用户都有一个默认的网络组。用户再创建虚拟机时，若未指定网络组，则属于用户默认的网络组。因此，不同用户创建的虚拟机默认是无法相互访问的。用户还可以创建新的网络组，并将新建的虚拟机放
10、到该网络组中，这样用户就可以自行划分和管理其虚拟机之间的访问关系。对于每一个网络组，用户可以设置其防火墙规则，来允许或限制其他网络组或网段机器的访问。镜像管理：虚拟云主机支持自定义镜像，支持故障自动迁移，快速恢复。虚拟机发生故障后，使用此故障迁移功能，可将虚拟机迁移到另外一台物理机上，并重新恢复运行。虚拟机自身崩溃，物理机宕机，或物理设备局部损坏等原因，都可能导致虚拟机故障。故障迁移功能可在新的物理机环境快速恢复虚拟机的运行，从而在一定程度上保证了虚拟机的高可用性。使用故障迁移功能时，云平台中控节点会首先判别虚拟机是否真的需要迁移。有些虚拟机故障是可以当前物理机环境恢复的，这种情况下，不使用故
11、障迁移来恢复虚拟机，效率会更高。对于必须迁移才能恢复的虚拟机，如果不指定迁移的目标物理机，系统将寻找最适合该虚拟机运行的物理机环境作为迁移的目标。如果在故障迁移时明确指定要迁移至的目标物理机，系统将按规定迁移到该物理。高可用性：虚拟云主机服务采用全冗余架构，无单点故障。多台ECS云服务器可以使用SLB负载均衡服务组成集群，消除单点故障，提升应用系统的可用性。云服务器镜像文件、快照文件均默认存储三份，分布在不同交换机下的不同物理服务器上，数据可靠性高达99.999%。云服务器部署在宿主机（承载云服务器的物理服务器）上，宿主机可能因性能异常或者硬件原因导致故障，当检测到云服务器所在的宿主机发生故障
12、时，系统会启动保护性迁移，把云服务器迁移到正常的宿主机上，自动恢复，保障应用的高可用性。操作系统：虚拟云主机支持主流的 WINDOWS、LINUX 等操作系统。ECS目前支持主流的Windows、Windows Server及Linux等操作系统，如Suse Linux， Windows Server 2008, 2012等。横纵扩展：支持计算能力的垂直伸缩，支持对 CPU 和内存的升级与降级操作，支持增减、减少磁盘和带宽；支持计算能力的水平伸缩，可以通过 API 创建、销毁虚拟云主机实例，通过与负载均衡配合实现水平伸缩。ECS可以根据指定虚拟机名称修改一台处于停止或待启动状态的虚拟机配置，配
13、置动作可以在管理控制台完成或通过API实现。配置修改完成后，再次启动虚拟机后，虚拟机将以新的配置运行。可修改的配置包括：CPU核数（修改范围1-8核。要与操作系统的可支持CPU核数匹配）；内存大小（修改范围512M-16G。要与操作系统可支持内存匹配）。如果修改配置后的虚拟机所需资源，已超出其所在物理机剩余的资源时，用户可指定一个调度选项，以决定是否将修改配置后的虚拟机迁移到有足够资源的物理机上运行。1.2.1.1.2 负载均衡软件SLB优化完善负载均衡（Server Load Balancing），对多台云服务器进行流量分发的负载均衡服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除
14、单点故障提升应用系统的可用性。负载均衡SLB的资源管理遵循云平台资源管理规范，产品优化完善体现在负载均衡软件的运行情况的监控、故障处理、负载均衡软件资源分配与收回、负载均衡软件的性能优化等方面。SLB针对云平台弹性计算软件而设计,无论在系统架构、系统安全及性能设计上都充分考虑了云平台弹性计算软件使用特点以及用户特定的业务场景。同时SLB一部分采用云平台弹性计算软件来搭建，利用云服务器的优势，云平台SLB产品与传统硬件负载均衡相比具有独特的优势，且以七层负载均衡尤为明显。具体来说，负载均衡SLB具有如下特点：弹性伸缩。弹性伸缩指SLB实例中HAProxy机器数会随着流量的变化而弹性增减，HAPr
15、oxy采用弹性计算平台云服务器实现，由于云服务器可快速启动与关闭的特点，从而使HAProxy数目的弹性伸缩方便快捷。大流量。使用传统负载均衡设备，单个端口的流量会受到限制，需要增加额外的端口来处理增加的流量。SLB服务器可以随着流量的增加动态扩容，因此用户不用担心流量增加设备却无法响应的情况发生。避免单点故障。前端LVS采用master/back双备份形式，一台机器出现故障不会引起服务中断，同时后端HAProxy pool中的Haproxy机器具有相同的配置，任何一台Haproxy机器故障也不会引起服务的中断 。会话保持。当HAProxy将访问转发到后端server时，SLB会记录会话与ser
16、ver的对应关系，因此当再一次请求产生时，会将请求转发到相同的server处理，从而提高了处理效率。健康检查。LVS和HAProxy可以检查服务器池中服务器的健康状况，当服务器出现故障时，HAProxy会自动停止将流量分摊到此台服务器上，并由监控系统报警，当服务器恢复并自动将其加入负载均衡池中。监控。SLB有完备的监控系统，会实时监控负载均衡设备负载情况以及服务情况，在负载过高或出现异常状况时及时报警，从而可以及时处理。安全。SLB负载均衡设备处于单独的安全域内，由于HAProxy采用云服务器来实现，为了保证HAProxy的网络安全，HAProxy云服务器位于一个单独的安全组中，且此安全组不允许用户VM加入。同时，在七层负载均衡时，后端服务器池中的VM允许取消公网IP，从而有效避免外界攻击。1.2.
