《Oracle数据库双活Extended RAC实现技术对比(EMC VPLEX Metro,Oracle IOE,一体机)》由会员分享，可在线阅读，更多相关《Oracle数据库双活Extended RAC实现技术对比(EMC VPLEX Metro,Oracle IOE,一体机)（9页珍藏版）》请在金锄头文库上搜索。
1、 数数据据库库双双活活解解决决方方案案考考察察项项基基于于传传统统IOEIOE架架构构的的ExtendedExtended RACRAC（ORACLEORACLE原原厂厂）1 1、双双活活模模式式读/写-只读、变相的读/写-读/写2 2、整整体体架架构构硬件平台最少配备：4台oracle数据库服务器2立存储设备及4台光交机1台位于第三站点的仲裁服务器（挂载仲裁盘）网络：以太网路由及交换设备则包括广域网互联设备（10KM以上使用波分复用设备）、每个站点的核心、汇聚、接入层设备3 3、存存储储类类型型每个站点均配备统一存储。整整个个双双活活中中心心仅仅有有一一套套数数据据库库（一一个个磁磁盘盘组组
2、内内须须创创建建2 2个个及及以以上上故故障障组组，故故障障组组分分别别在在不不同同的的站站点点）4 4、数数据据冗冗余余度度两个站点最多可设置3份副本，一般设为双份。副本数通过ASM磁盘组冗余级别参数来控制。5 5、站站点点间间数数据据镜镜像像不同站点之间的副本通过ASM镜像功能实现单单向向复制,复制的原理：一个站点的写操作将同时发给另一个站点的副本执行，属同步模式的复制。（理论上可双向，但实际案例中往往人为控制成单向）（原厂提供参考数据：修改远端数据块的延时在10MS10MS以上）6 6、心心跳跳网网络络（类类型型/ /带带宽宽）1、网络心跳走以太网，要求带宽至少1G，延时在毫秒级2、磁盘
3、心跳走裸纤，要求带宽至少10G；7 7、站站点点间间距距限限制制（指指光光纤纤介介质质长长度度）理论值:25KM,但全球实际案例的平均间距仅为4KM4KM，超过该距离性能会随着距离增加呈线性衰减。8 8、故故障障切切换换（模模式式耗耗时时）以两种典型故障为例：1、两边数据库均承载业务，任何一边发生故障，则由另一边承载所有业务，无须进行主备站点切换。故障站点原先承载的用户会话在几分钟内由其他存活节点接管，体验上会有一些卡顿。2、若站点间的心跳线中断，则由第三站点的仲裁盘决定驱逐哪个站点，哪个站点存活。被驱逐站点原先承载的用户在体验上会有几分钟的卡顿。9 9、解解决决方方案案潜潜在在的的风风险险主
4、要有2种风险：1、无法解决两个站点间业务数据不一致问题，除了实验室的现实案例极少。常见解决方案包括：应用分割。如财务系统只在A站点写入，人资系统只在B站点写入，两边互为镜像，变相实现“读/写-读/写”模式，对1套应用来说仍是“读/写-只读”模式）；B站点仅开放只读功能，实现“读/写-只读”模式；利用oracle 12c版本新功能，自动将B站点的写操作转移到A站点的数据库，统一在A站写入。2、站点间的远距离对数据库读写性能影响大。站点间距离越长，IO性能瓶颈越凸显，只能限制在较短距离内。即使解决网络时延问题也无法解决锁的问题修改数据块时不但锁本地块还要锁远程镜像块，加锁时间长极易出现站点间资源争
5、用，性能下降，甚至死锁。1010、实实施施过过程程对对在在运运业业务务的的影影响响从数据库原理分析：为在运系统搭建的数据库集群，磁盘组冗余级别通常设置为external级，即集群内不做ASM镜像。为了实现双活，此参数要做相应更改。已存在的磁盘组不能改变其冗余级别，只能重新创建磁盘组，将其冗余级别设置为匹配双活模式的参数。因因此此无无论论采采用用哪哪一一种种解解决决方方案案，都都需需要要停停止止数数据据库库服服务务进进行行切切换换，需需申申请请停停机机窗窗口口，停停机机时时间间短短暂暂。同步方法：在原有数据库服务器上创建一个新库，其磁盘组模式设置为双活模式要求的normal或high。借助数据库
6、复制工具使原库与新库保持同步（同步过程业务不中断），后续申请停机窗口进行新旧两库切换，新库作为双活中心的数据库。同同步步过过程程与与另另外外一一个个站站点点加加入入ExtendedExtended RACRAC集集群群的的过过程程无无需需中中断断业业务务1111、后后期期运运维维内内容容1、Extened RAC与本地RAC原理相同，每个站点单独维护一套RAC子集群。2、Extened RAC国内案例很少，能获得的厂商技术支持力度相对较小。1212、测测试试局局限限性性须满足以下前提才有开展测试的必要：1、以营销系统为例，须做业务垂直分离，才能实现“读写-读写”双活模式。若业务不分离，只能考虑
7、“读写-只读”模式。2、站点间距离不能超过4KM。相相关关技技术术资资料料ORACLE原厂白皮书10.194.50.44平台运维科8-其它平台组台帐双活技术oracle基基于于VPLEXVPLEX MetroMetro的的ExtendedExtended RACRAC（EMCEMC公公司司）读/写-读/写硬件平台最少配备：2台EMC VPLEX设备2立存储设备光纤网络交换设备2台（用于连接VPLEX设备、服务器、存储设备）4台Oracle数据库服务器1台VPLEX Witness仲裁服务器1台位于第三站点的仲裁服务器（挂载仲裁盘）网络：以太网路由及交换设备则包括广域网互联设备（10KM以上使用
8、波分复用设备）、每个站点的核心、汇聚、接入层设备每个站点均配备统一存储。整整个个双双活活中中心心仅仅有有一一套套数数据据库库（一一个个磁磁盘盘组组内内须须创创建建2 2个个及及以以上上故故障障组组，故故障障组组分分别别在在不不同同的的站站点点）双份，数据在所有VPLEX存储上做条带化。由vplex实现数据冗余，一般不再设置ASM磁盘组冗余级别。不同站点之间的副本利用vplex metro存储复制技术实现双双向向复制,任何站点的写操作将同时发给另一个站点的副本执行，属于同步模式的复制。（双活解决方案不提供异步模式，该模式用于传统容灾）（参考实际案例数据：经过VPLEX设备，会比第一种方案的延时还
9、增加1MS1MS）ORACLE RAC：1、网络心跳走以太网，要求带宽至少1G，延时在毫秒级；2、磁盘心跳走裸纤，要求带宽至少10G；VPLEX：3、存储网络至少需8G链路；在本方案中RAC的磁盘心跳走VPLEX存储网络，带宽至少要满足10G理论值：100km，网络延迟不超过5ms；实际案例：oracle官方建议不超过10KM10KM，网络延迟不能超过1ms1ms；超过该距离性能会随着距离增加呈线性衰减。超过10KM要借助波分复用设备来延伸距离。区分数据库集群与存储集群两个层面：1、数据库集群的切换机制与本地RAC相同，见第一种方案描述；2、VPLEX集群：两边的vplex存储均承载业务，任何
10、一边的设备发生故障，则由另一边承载所有业务，无须进行主备站点切换。故障站点原承载用户在体验上几乎没有卡顿（秒级完成切换）。根据国内多个行业的实施案例看，收集了种发生频率较高的风险：一、性能方面1、站点间的网络延时对数据库读写性能影响大，因此对时延有较高要求。通常超过1ms，易产生性能瓶颈（深圳同行故障案例：相距17公里的两个站点间产生大量GC相关的等待事件导致某6+1系统数据库挂死）2、支持的用户并发数有限，无法满足应用高并发要求，极易引发性能瓶颈。（普遍案例、实测结果）二、功能方面VPLEX镜像功能引发数据库集群故障。（上海运营商案例：两个站点完成数据镜像后，因数据不一致导致oracle C
11、RS无法启动；三、可靠性方面1、RAC的心跳P网络与vplex witness的心跳IP网络互为独立，各有一套仲裁机制。当任何心跳网络出现中断，有可能出现仲裁结果不一致的情况（理论上多达15种，原因复杂），对应用来说两个站点都无法访问，双活变成双死。（运营商案例，由负责广西移动VPLEX双活项目的技术人员提供）2、两个站点的VPLEX设备构成一个集群，当A站点的VPLEX设备发生故障，B站点的VPLEX设备会有5秒的IO锁定期。若是一个TPS上万的大型应用系统数据库，则解锁后B站数据库要承载5万个会话，有可能因负载过重导致不可用，双活变成双死。（运营商案例，由负责广西移动VPLEX双活项目的技
12、术人员提供）基于上述案例，oracle原厂建议不采用此方案，多一层双活机制反而增加了中间的故障点。区分两种情况：若要修改RAC集群的磁盘组冗余级别，增加ASM镜像，需需要要停停止止数数据据库库服服务务进进行行切切换换，需需申申请请停停机机窗窗口口，停停机机时时间间短短暂暂。同步方法：在原有数据库服务器上创建一个新库，其磁盘组模式设置为双活模式要求的normal或high。借助VPLEX存储复制功能使原库与新库保持同步，然后申请停机窗口进行新旧两库切换，新库作为双活中心的数据库。同同步步过过程程与与另另外外一一个个站站点点加加入入ExtendedExtended RACRAC集集群群的的过过程程
13、无无需需中中断断业业务务。 保持RAC集群的磁盘组冗余级别=external，VPLEX建议修改网络心跳和磁盘心跳超时参数，需需要要重重启启数数据据库库服服务务，需需申申请请停停机机窗窗口口，停停机机时时间间短短暂暂。同同步步过过程程与与另另外外一一个个站站点点加加入入ExtendedExtended RACRAC集集群群的的过过程程无无需需中中断断业业务务。1、Extened RAC与本地RAC原理相同，每个站点单独维护一套RAC子集群。2、vplex设备及相关管理软件需要专人运维3、因vplex集群与oracle集群有各自一套机制，一旦发生故障，原因分析难度大，需各厂商联合排查。根据第9项
14、分析该解决方案的风险点，相应地，存在以下测试局限性导致测试有效性低，难以浮现潜在的缺陷。1、用应用性能测试工具模拟的场景仿真程度有限，无法模拟真实用户场景中发生的所有核心业务，测试阶段不一定能重现GC等待事件导致数据库集群挂死。可考虑使用数据库专门的压力测试工具。2、针对功能风险和可靠性风险，由于触发原因复杂，现实中很难构建测试场景去验证，测试阶段不一定能重现BUG。EMC原厂白皮书10.194.50.44平台运维科8-其它平台组台帐双活技术EMC基基于于国国产产一一体体机机构构建建ExtendedExtended RACRAC优优 势势读/写-读/写硬件平台最少配备：4台oracle数据库服
15、务器（X86架构）6台存储服务器（X86架构）4台本地Infiniband（简称IB）交换机、2台长距IB交换机、若干IB卡与线缆1台位于第三站点的仲裁服务器（挂载仲裁盘）网络：以太网路由及交换设备则包括广域网互联设备（10KM以上使用波分复用设备）、每个站点的核心、汇聚设备、接入层设备每个站点配备分布式存储（X86服务器插SSD、闪盘），整整个个双双活活中中心心仅仅有有一一套套数数据据库库（一一个个磁磁盘盘组组内内须须创创建建2 2个个及及以以上上故故障障组组，故故障障组组分分别别在在不不同同的的站站点点）两个站点最多可设置3份副本，一般设为双份。副本数通过ASM磁盘组冗余级别参数来控制。不
16、同故障组之间的副本通过ASM镜像功能实现双双向向复制,同步的原理：任何站点的写操作将同时发给另一个站点的副本执行，属同步模式的复制。（参考测试数据：修改远端数据块的延时在1MS1MS以下，相当于本地RAC）第三种方案的IO性能最佳，至少10倍差距网络心跳和磁盘心跳都走IB网络，带宽达40-56Gbps,可实现端到端延迟200ns200ns。IB网络比传统以太网的延时低很多理论值：100km公里实际案例：80KM80KM。超过10KM要借助波分复用设备来延伸距离。经实测，80KM网络RTT值在0.45-0.5ms0.45-0.5ms参考数值：100公里真空RTT=0.7ms依托IB设备的扩展RAC能支持更长距离数据库集群的切换机制与本地RAC相同，见第一种方案的描述。根据国内实施案例，主要有4种风险：1、整体架构中引入了存储服务器，X86服务器可能发生软硬件故障。相对传统的统一存储设备，故障几率高一些。2、双活中心6个存储节点最多允许任意2个存储节点同时发生故障，如果超过2个节点也不影响extended rac运行，但影响副本份数，需做重平衡调整冗余度。3、分布式存储容量满的时候
