《数据质量平台V2.0.0产品规划》由会员分享，可在线阅读，更多相关《数据质量平台V2.0.0产品规划（67页珍藏版）》请在金锄头文库上搜索。
1、数据质量管理平台数据质量管理平台 V2.0.0V2.0.0产品规划产品规划（版本（版本V0.8V0.8）20102010年年0808月月目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求核心概念分析核心概念分析概念概念解解释数据质量对经营分析系统数据质量进行监控、评估和数据质量问题处理数据质量监控自动获取经营分析系统各环节的数据质量信息，结合元数据库中的有关检查规则和采集规则，对数据质量情况进行诊断，并及时向数据质量监控人员报告数据稽核是数据
2、质量检查的基本功能，是根据预先配置的规则、算法和质量检查度量，对数据的准确性、合理性等多角度的检查，以便能及时发现问题核心概念分析核心概念分析概念概念解解释数据质量知识库数据质量管理子系统存储层上的数据质量存储信息库，主要包括各种检查规则、检查结果报告(包括告警)，以及数据质量问题的处理过程信息数据质量评估数据质量评估是对数据质量日常管理中阶段性累积的各种信息进行汇总、梳理、统计和分析，并输出评估报告的过程数据采集点覆盖经营分析系统数据处理环节的，获取每个环节运行状态的实体。该实体可以是程序实体也可以是任务实体目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据
3、架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求产品目标产品目标远景目标业务目标：1.在数据质量监控界面上集成元数据信息，实现拓扑呈现功能，提供经营分析系统数据处理状态和质量状况的全局视图；2.进一步完善数据质量管理知识库，可由数据质量知识库自动产生检查规则的优化建议、自动产生数据质量问题的处理建议；3.进一步完善数据质量评估的应用，结合元数据信息，实现数据质量评分体系；4.进一步完善数据质量对外服务功能，实现数据质量管理子系统对经营分析系统的全面技术支撑。技术目标：1.云计算特性实现：分布式、动态负载、云部署和监控；2.
4、数据质量知识库关联案例搜索，模糊查询与知识挖掘技术应用。产品目标产品目标近期目标业务目标：1.在经营分析系统数据处理主要阶段设置数据质量检测点，支持对经营分析数据质量的全程监控，建立有效的数据质量监控机制，提供全面及时的数据质量报告，预防和控制错误范围的扩大；2.完善数据质量管理知识库，积累数据质量问题及其处理过程的相关知识，为相同或相近问题的处理提供参考；3.初步建立数据质量评估的应用，通过评估发现数据质量潜在的问题和规律；4.建立数据质量问题处理机制，有效协助处理经分域数据质量问题；5.开发数据质量对外服务功能，提高数据质量管理子系统对经营分析系统的技术支撑力度。技术目标：1.模块化与组件
5、化改造；2.任务调度与业务过程解藕，复用统一的调度构件;3.采集程序分布式部署。4.配置数据库与数据仓库分离，采用文件数据库。目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求在公司产品规划中定位在公司产品规划中定位融融合合计计费费综合客服综合客服合合作作伙伙伴伴管管理理WEB客户客户/员工员工/营销人员营销人员/管理人员管理人员/合作伙伴合作伙伴客户门户客户门户Mediation收入保障收入保障工作流引擎工作流引擎定定单单工工单单管管理理专
6、业网管专业网管企业企业ERP应应用用集集成成平平台台网络激活网络激活营业厅营业厅合作伙伴合作伙伴客户经理客户经理内部门户内部门户元数据管理元数据管理企业数据仓库企业数据仓库决决策策支支持持BAM银行银行产品管理平台产品管理平台知识库知识库BOMCIVR短信短信POSWAPMAS管理管理网络资源网络资源管理系统管理系统业务门户平台业务门户平台网网元元层层业务网业务网承载网承载网MSC行业网关行业网关短信网关短信网关 HLRWAP网关网关 MAS VGOPM2M业务平台业务平台电子商务平台电子商务平台音音乐乐卡卡客户管理平台客户管理平台在在线线分分析析市市场场营营销销销销售售管管理理综合受理综合受
7、理订订单单管管理理服服务务请请求求管管理理综合帐务综合帐务HotBilling数据服务中心数据服务中心DSC充值平台充值平台ABM施工管理施工管理业务资源管理业务资源管理VAC渠渠道道管管理理规则引擎规则引擎MDB预处理预处理综合采集综合采集数据质量管理数据质量管理数数据据集集成成平平台台总部总部BOSSOCS服务保障服务保障平台平台综合管理综合管理数据访问数据访问帐务管理帐务管理帐务处理帐务处理智能网智能网自助终端自助终端自助终端平台自助终端平台经经营营分分析析基础管理基础管理4A平台平台B2B服服务务集集成成平平台台渠道接触集成平台渠道接触集成平台综综合合计计算算目录目录核心概念分析核心概
8、念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求业务过程列表业务过程列表 实体列表实体列表 上下文图上下文图0级级DFD图图1级级DFD-P1规则配置规则配置1级级DFD-P2信息采集信息采集1级级DFD-P3检查稽核检查稽核1级级DFD-P4监控告警监控告警1级级DFD-P5问题处理问题处理1级级DFD-P6知识库知识库1级级DFD-P7质量评估质量评估1级级DFD-P9对外服务对外服务2级级DFD-P1.1采集规则配置采集规则配置2级级DFD-P1.2稽核规则配
9、置稽核规则配置2级级DFD-P1.3告警规则配置告警规则配置2级级DFD-P3.1实体稽核实体稽核2级级DFD-P3.2业务源数据稽核业务源数据稽核2级级DFD-P3.3处理过程检查处理过程检查2级级DFD-P3.5指标稽核指标稽核2级级DFD-P4.6告警管理告警管理2级级DFD-P7.2数据质量问题状态评估数据质量问题状态评估2级级DFD-P7.3数据源接口质量评估数据源接口质量评估目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构概念模型概念模型逻辑模型逻辑模型应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架
10、构基础平台要求基础平台要求概念模型设计：概念模型设计：0 0级级E-RE-R概念模型设计：概念模型设计：1 1级级E-RE-R概念模型设计：概念模型设计：2 2级级E-RE-R逻辑模型图逻辑模型图功能数据控制关系功能数据控制关系 数据应用采集规则稽核规则告警规则评估规则采集信息稽核结果监控报告告警信息问题信息评估报告知识信息规则配置CRUDCRUDCRUDCRUD信息采集RCRU检查稽核RRCRU监控告警RRCRUDCRUDR问题处理RRRRRRCRUDR质量评估RRRRRCRUD知识库管理RRRRRCRUD对外服务RRRUR数据库应用分布关系数据库应用分布关系 数据库应用主配置库详细信息存储
11、库规则配置采集规则、稽核规则、告警规则、评估规则信息采集采集信息 (概要信息)采集信息 (概要信息、详细信息)检查稽核稽核结果监控告警监控报告、告警信息问题处理问题信息质量评估评估报告案例库管理案例信息对外服务问题信息、数据质量信息目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求数据质量管理功能结构图数据质量管理功能结构图数据质量管理功能层次数据质量管理功能层次问题处理问题处理系统管理系统管理数据质量管理数据质量管理规则配置规则配置信息采集
12、信息采集检查稽核检查稽核业业务务源源信信息息采采集集实实体体信信息息采采集集指指标标信信息息采采集集权权限限管管理理日日志志管管理理采采集集规规则则配配置置稽稽核核规规则则配配置置实实体体稽稽核核指指标标稽稽核核业业务务源源数数据据检检查查处处理理过过程程检检查查告告警警规规则则配配置置数据质量评估数据质量评估指指标标关关联联性性分分析析数数据据源源接接口口评评估估问问题题状状况况评评估估专专题题评评估估监控告警监控告警监监控控告告警警知识库知识库知知识识管管理理对外服务对外服务数数据据质质量量信信息息查查询询数数据据质质量量问问题题交交互互知知识识共共享享问问题题管管理理问问题题接接口口评评
13、估估规规则则配配置置任务调度任务调度处处理理过过程程信信息息采采集集告告警警管管理理拓拓扑扑呈呈现现采采集集信信息息展展示示稽稽核核结结果果展展示示调调度度接接口口核心业务功能描述核心业务功能描述规则配置：配置：数据采集，数据稽核和告警监控,质量评估会根据预先用户配置的规则进行相应的采集、稽核、告警和相应的评估。规则定制分为采集规则配置，稽核规则配置、告警规则配置，评估规则配置。采集规则配置：采集规则配置作为采集程序执行的依据。指定采集的数据库，采集方式等，分为指标采集规则，实体采集规则，业务源数据采集规则，处理过程采集规则核心业务功能描述核心业务功能描述稽核规则配置：依据数据仓库、数据集市等
14、系统的模型约束、实体属性、实体关系和实体业务特征等角度来制定相应稽核规则。作为数据稽核的依据，分为指标稽核规则，实体稽核规则，业务源数据稽核，处理过程稽核规则告警规则配置：据数据仓库模型约束以及关系、具体业务约束指定相应的告警规则。依据告警规则发出相应的告警。分为指标告警规则，实体告警规则，业务源数据告警规则，处理过程告警规则核心业务功能描述核心业务功能描述评估规则配置：数据质量问题状况评估是对数据质量问题及其处理情况的阶段性汇总与总结，评估过程中生成相应的数据质量问题状况评估报告供经营分析系统管理人员和维护人员分析与使用，数据质量人员根据数据质量问题状况和业务经验指定相应的评估规则，作为相应
15、的指导。信息采集信息采集：数据质量采集到的信息作为后续数据质量检查环节的输入，是数据质量监控的基础。信息采集分为指标信息采集，实体信息采集，业务信息采集核心业务功能描述核心业务功能描述指标信息采集：根据指标采集规则采集相应的指标值，这个指标含有指标账期，业务库等相关信息，数据稽核会根据采集结果是否满足稽核规则来报告异常。实体信息采集： 根据实体信息采集规则采集需要稽核的实体信息和属性信息，稽核会对实体进行主键检查，外键检查，值域检查，完整性检查，合法性检查这些操作。业务过程信息采集：根据业务信息采集规则采集相应业务信息，从而检查分析系统各数据处理环节处理的完成情况，处理情况等信息。核心业务功能
16、描述核心业务功能描述检查稽核：稽核：检查稽核部分根据预先配置的规则、算法和质量检查度量，对数据的正确性、合理性等多个角度进行检查，及时发现数据质量问题。主要包含以下内容：实体稽核、指标稽核、业务源数据稽核和处理过程检查。监控告警：控告警：数据质量稽核完成后，数据稽核结果信息根据告警规则进行数据质量的告警，并产生相应的工单信息，对数据质量问题进行处理。核心管理功能描述核心管理功能描述知知识库：用来收集和积累有关数据及过程问题的处理经验总结，这些知识可作为今后数据质量问题解决方法和问题分析的参考。问题处理：理：数据质量稽核发现问题时，能够对问题处理，生成相应的问题工单进行处理，同时能够将相关信息进
17、行对外提供。数据数据质量量评估估：数据质量评估是对数据质量日常管理中阶段性累积的各种信息进行汇总、梳理、统计和分析，并输出评估报告的过程。通过数据质量评估可以发现一些潜在的数据质量问题和变化规律，如指标关联波动规律和同类问题的发生规律等。数据质量评估也可能会触发相关的后续处理，例如监控规则优化和问题处理等。 目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求集成关系图集成关系图集成列表集成列表目录目录核心概念分析核心概念分析产品目标产品目标产
18、品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求演进思路演进思路目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求工作量估算工作量估算-总结总结需求分析： 1 人月系统设计： 1.8 人月开发实现： 5 人月测 试： 2 人月部署实施： 0.1 人月合 计： 8.9 人月工作量估算工作量估算需求分析需求分析工作名称难度（1-5 Max）复
19、杂度（1-5 Max）工作量（人天）1 规则定制2322 信息采集3433 任务稽核3444 告警监控2325 问题处理2326 知识库2217 质量评估3338 对外接口434合计21工作量估算工作量估算系统设计系统设计工作名称难度（1-5 Max）复杂度（1-5 Max）工作量（人天）1 规则定制2342 信息采集3463 任务稽核3464 告警监控2335 问题处理2346 知识库2237 质量评估3358 对外接口436合计37工作量估算工作量估算开发实现开发实现工作名称难度（1-5 Max）复杂度（1-5 Max）工作量（人天）1 规则定制24122 信息采集44183 任务稽核42
20、124 告警监控2395 问题处理33126 知识库3297 质量评估3298 对外接口4418合计99工作量估算工作量估算测试测试工作名称难度（1-5 Max）复杂度（1-5 Max）工作量（人天）1 规则定制2462 信息采集3483 任务稽核3364 告警监控2245 问题处理2246 知识库2247 质量评估2248 对外接口348合计44工作量估算工作量估算部署实施部署实施工作名称难度 复杂度 工作量 （1-5 Max）（1-5 Max）（人天） 1 环境检查 230.22 数据库发布 340.53 Web程序发布 330.34 后台程序发布320.25 程序调试 440.8合计 2
21、目录目录核心概念分析核心概念分析产品目标产品目标产品定位产品定位业务架构业务架构数据架构数据架构应用架构应用架构集成架构集成架构演进思路演进思路工作量估算工作量估算技术架构技术架构基础平台要求基础平台要求技术中立架构技术中立架构外部系统展现层展现层应用层应用层数据层数据层信息采集检查稽核监控告警任务调度持久化工具规则信息采集信息稽核信息告警信息评估信息问题处理信息知识库信息日志信息规则配置质量问题处理质量知识库采集结果查询稽核结果查询质量评估报告数据质量咨询数据质量交互经分门户元数据平台数据集成平台数据仓库业务源系统界面集成数据集成JVMWeb ServerJVM技术特定架构技术特定架构外部系
22、统展现层展现层应用层应用层数据层数据层信息采集检查稽核监控告警任务调度Hibernate、iBatis规则信息采集信息稽核信息告警信息评估信息问题处理信息知识库信息日志信息规则配置质量问题处理质量知识库采集结果查询稽核结果查询质量评估报告数据质量查询数据质量交互经分门户元数据平台数据集成平台数据仓库业务源系统界面集成数据集成JVMWebLogic/TomcatJVMHtml、jQuery、Struts、Osgi、SpringDMOsgi、SpringDM平台架构图平台架构图数据层逻辑层接入层主配置库Web容器规则配置采集、检查、告警结果展示问题处理数据质量案例库管理质量评估JVM数据采集监控告
23、警检查稽核对外服务数据采集数据采集详细信息存储库（可选）技术要求技术要求支持常用主流数据库(至少包括oracle、DB2、Teradata)的数据实体属性的采集。支持组件化的开发与部署。采集程序支持分布式部署。支持采集以下多种类型的数据：文件日志、系统日志、数据库库表、通过执行脚本或系统命令获取的数据（如CPU信息和内存信息）。问题总结过程和数据质量评估过程中输出的文档支持Text、CVS、PPT、Excel或Word等格式。界面风格要求一致（如用统一的CSS）、界面直观易懂、易操作和人性化。目录目录核心概念分析核心概念分析产品目品目标产品定位品定位业务架构架构数据架构数据架构应用架构用架构集成架构集成架构演演进思路思路工作量估算工作量估算技技术架构架构基基础平台要求平台要求基础平台要求基础平台要求非功能指标系统容量指标 ：单JVM支持10W采集点和1W稽核规则。系统性能指标 ：略。网络拓朴图 (略)硬件运行环境 主机：小型机、刀片机、PC Server，至少1G内存、2CPU。存储：取决于采集数据量，一般不超过10G。软件运行环境操作系统：主流unixlinuxwindows操作系统。Web服务器：weblogic9以上或tomcat5.5以上。JVM1.5以上。
