《中国移动集中化经分ETL工具测试规范v1.3_201408》由会员分享，可在线阅读，更多相关《中国移动集中化经分ETL工具测试规范v1.3_201408（93页珍藏版）》请在金锄头文库上搜索。
1、中中 国国 移移 动动 通通 信信 企企 业业 标标 准准中国移动集中化经分 ETL 工具测试规范版本号：1.0.01.0.0中国移动通信集团公司中国移动通信集团公司 发布发布- - -发发布布- - -实实施施QB-QB-T T h h e e T T e e s s t t S S p p e e c c i i f f i i c c a a t t i i o o n n f f o o r r E E T T L L t t o o o o l l s s o o f f C C e e n n t t r r a a l l i i z z e e d d B B A A S S
2、S SQB-QB-I目录1. 范围 .12. 规范性引用文件 .13. 术语、定义和缩略语 .13.1.术语/定义 .13.2.缩略语 .14. 测试环境 .24.1.ETL 测试环境.24.1.1.4.1.1.测试组网拓扑 .24.1.2.4.1.2.参考硬件配置 .35. 数据模型 .65.1.数据表模型 .65.2.接口数据格式及大小 .86. 测试用例 .96.1.总体约束 .96.2.评分标准 .96.3.功能测试 .126.3.1.6.3.1.数据抽取与数据校验 .126.3.2.6.3.2.数据转换 .186.3.3.6.3.3.数据加载 .266.3.4.6.3.4.执行引擎选
3、择 .316.3.5.6.3.5.调度服务 .336.3.6.6.3.6.图形化配置管理环境 .436.3.7.6.3.7.安全与审计 .466.3.8.6.3.8.负载均衡 .486.3.9.6.3.9.辅助功能 .506.4.性能测试 .546.4.1.6.4.1.性能测试场景 1：单个大文件加载至单表.546.4.2.6.4.2.性能测试场景 2：多个小文件加载至单表.56QB-QB-II6.4.3.6.4.3.性能测试场景 3：多个大文件加载至单表.586.4.4.6.4.4.性能测试场景 4：多个大文件加载至多表.606.4.5.6.4.5.性能测试场景 5：复杂转换规则下的性能.6
4、26.4.6.6.4.6.性能测试场景 6：压缩大文件加载至单表.656.4.7.6.4.7.性能测试场景 7：双库加载.676.4.8.6.4.8.性能测试场景 8： 满载处理能力.696.4.9.6.4.9.性能测试场景 9：数据不落地处理-MPP 至 HDFS.706.4.10.6.4.10.性能测试场景 10：数据不落地处理-HDFS 至 MPP.726.5.可扩展测试 .746.5.1.6.5.1.可扩展性测试场景 1：增加节点.746.5.2.6.5.2.可扩展性测试场景 2：减少节点.776.6.高可用测试 .796.6.1.6.6.1.高可用测试场景 1：集群中单一节点宕机.7
5、96.6.2.6.6.2.高可用测试场景 2：集群中单一节点闪断.827. 编制历史 .86QB-QB-III前 言本标准的目的是对制定对集中化经分一期ETL工具产品的功能、性能、可扩展性等内容测试标准。本标准由中国移动通信集团业务支撑系统部提出，集团公司采购部归口。本标准起草单位：中国移动通信研究院，中国移动（深圳）有限公司，本标准主要起草人：谢帆、赵立芬、隋琪、朱春霖、刘航QB-QB-11.范围本测试规范的目的是根据集中化经分一期的业务需求，全面考察各类 ETL 工具产品的功能性、性能及可扩展性，为集中化经分一期工程招标选型和工程建设提供技术依据，用于指导集团公司进行相关 ETL 系统的测
6、试和验收。2.规范性引用文件下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。序号标准编号标准名称发布单位1中国移动集中化经分系统ETL平台技术规范书中国移动通信有限公司3.术语、定义和缩略语下列术语、定义和缩略语适用于本标准：3.1.术语/定义表3-1 术语/定义术语/定义解释通用计算平台指符合X86架构的PC服务器集群pushdown向下选择作业执行引擎QB-QB-23.2.缩略语表3-2
7、 缩略语缩写英文描述中文描述ETLExtraction, Transformation,Loading抽取、转换和加载（是数据获取过程）4.测试环境4.1.ETL 测试环境根据一级集中化经分工程规划 ETL 集群采用基于 X86 服务器进行构建。4.1.1. 测试组网拓扑S SA AN N交交换换机机南南方方基基地地万万兆兆交交换换机机测测试试管管理理展展现现终终端端南南方方基基地地千千兆兆交交换换机机普普通通数数据据库库：1 1个个P PC C服服务务器器 H HP P D DL L3 38 85 5 G G7 7 C CP PU U: : 1 16 6* *2 2. .3 3G GH Hz
8、 z M Me em m: :4 48 8G GB B L Lo oc ca al l D Di is sk k: :8 8* *3 30 00 0G GB B R Ra ai id d5 5 s su us se e e en nt t1 11 1 s sp p3 3H Ha ad do oo op p集集群群数数据据库库：8 8个个P PC C服服务务器器 H HP P D DL L3 38 85 5 G G7 7 C CP PU U: : 1 16 6* *2 2. .3 3G GH Hz z M Me em m: :4 48 8G GB B L Lo oc ca al l D Di i
9、s sk k: :8 8* *3 30 00 0G GB B 2 2块块系系统统盘盘做做R Ra ai id d 1 1，6 6块块做做R Ra ai id d 0 0 s su us se e e en nt t1 11 1 s sp p3 3M MP PP P集集群群数数据据库库：8 8个个P PC C服服务务器器 H HP P D DL L3 38 85 5 G G7 7 C CP PU U: : 1 16 6* *2 2. .3 3G GH Hz z M Me em m: :4 48 8G GB B L Lo oc ca al l D Di is sk k: :8 8* *3 30 00 0G GB B R Ra ai id d5 5 s su us se e e en nt t1 11 1 s sp p3 3N NE EO O测测评评中中心心 南南方方基基地地 核核心心交交换换机机深深圳圳中中心心 核核心心交交换换机机内内外外地地址址一一对对一一映映射射广广州州南南方方基基地地E ET
