《数据质量管理平台需求文档》由会员分享，可在线阅读，更多相关《数据质量管理平台需求文档（32页珍藏版）》请在金锄头文库上搜索。
1、数据质量管理平台建设需求方案目录1 项目介绍51.1 数据质量含义51.2 数据质量六要素 51.3 项目背景61.4 项目目标62 业务方案62.1 系统架构62.2 整体要求63 功能设计73.1 模板管理73.1.1 内置模板83.1.2 模板创建143.1.3 模板查询143.1.4 模板修改153.1.5 模板审批153.2 规则管理153.2.1 功能模块163.2.2 规则创建163.2.3 规则查询163.2.4 规则修改173.2.5 规则导出173.2.6 规则审批173.3 任务管理183.2.1 任务创建 193.2.2 任务查询193.2.3 任务修改203.2.4
2、任务删除203.2.5 任务提交203.2.6 任务日志 203.4 检查结果分析213.4.1 结果管理 213.4.2 分析管理 233.5 问题处理253.5.1 问题通知 263.5.2 工单管理 273.5.3 方案管理283.6 知识库管理293.6.1 知识创建293.6.2 知识检索293.7 系统管理293.7.1 数据源管理293.7.2 用户管理 29293.7.3 权限管理1 项目介绍1.1 数据质量含义数据质量管理定义为对数据从产生、获取、存储、共享、维护、应用等各个阶段可能引 发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提 高组织的
3、管理水平使数据质量获得进一步的提高。数据质量管理是一个循序渐进的管理过程，工作目标是依据数据质量的特点、规模、复 杂程度和变化情况，建立和实施长效数据质量管理机制，通过一系列的举措的实施，其终极 目标是通过可靠的数据提升数据的使用价值，并最终为企业赢得经济利益。1.2 数据质量六要素在不同时期，公司经营对数据质量有不同的概念和标准，早期基本上只关心数据是否可 用，随着系统功能和定位的不断延伸，监管政策的不断严厉，用户、监管政策、公司对数据 的使用在以下6 个方面提出了要求，也就是数据质量六要素：完整性：主要包括实体缺失、属性缺失、记录缺失和字段缺失四个方面 唯一性：指主键唯一和候选键唯一 一致
4、性：指统一的数据来源、冗余存储和统一的数据口径 精确度：指计量误差、度量单位等方面的精确度 合法性：主要包括格式、类型、域值和业务规则的有效性 及时性：指数据刷新、修改和提取的等的及时性和快速性同时在提升数据质量的过程中，应该从用户的视角衡量数据质量，重视用户对数据的满意程度。1.3 项目背景1.4 项目目标2 业务方案2.1 系统架构数据质量管理平台使用主体为公司数据管理人员。平台包括“模板管理、规则管理、任 务管理、检查结果分析、问题处理、资料库、系统管理”7 大模块、27个子模块、66 个功 能点。展不层统一仃户界面菜单苜理 数据源营世 -祝限管理 用户管理库如识检盍料资如识创建rm动外
5、理 方案管理 工单営理 问题通知rm动调度 任寻日志 任芬调度 仁寻杏一诃 任务配f规则提取 规则耳人槌扳审拙 槿扳査询内苣槿板自查资料库2.2 整体要求1）项目完成时间：11 月中旬完成项目开发、测试、验收等相关工作，确保项目上线。2）交付成果物：数据质量管理平台 （3）招标要求：业务部门和技术部门要把如何解决项目建设及后期运维的关键、高风险问题，作为招标的重点部分，招标期间的承诺必须写入合同中。3 功能设计该部分全面介绍了数据质量管理平台的各部分功能。3.1 模板管理模板管理是数据质量管理平台数据展现功能、数据录入功能的基础，主要包括6 类内 置模板，每类可包含多个模板。同时提供模板创建功
6、能，用以拓展内置模板样式的不足。一 个模板由两部分组成：模板头和模板体。模板头方便用于模板管理，模板体是模板的真正功 能，在使用到模板的地方其实是对模板体的实例化。模板头必须包含模板编号、模板名称、模板类别、创建人员、创建时间、模板状态、模 板描述，要求如下：模板体必须至少包含对象编号、对象名称（可选）、对象创建时间、对象状态、对象创 建人员，对象类别，要求如下：模板管理的功能结构如下图：3.1.1 内置模板内置模板是一种基础标准，目前包含6 类内置模板。规则模板、任务模板、报表模板、 方案模板、质量报告模板、可视化模板。分别在规则录入、任务创建、统计展现功能、方案 创建、数据质量报告生成等模
7、块中直接使用。某一类对象在系统中被使用的流程是先创建模板，然后在使用中实例化。比如在规则管 理模块，我们会录入大量的数据质量检查规则以及在问题处理模块，我们会事先制定大量问 题通知规则，那么我们就应该先在模板管理模块创建数据质量规则模板和问题通知规则模 板；然后再规则管理模块中我们之间使用模板创建实际使用的规则。内置模板可以通过模板创建功能进行拓展。新创建的模板根据其使用频率以及重要性，在通过审批之后可以升级为内置模板。3.1.1.1 规则模板规则模板暂时包含数据质量核规则模板、问题通知规则模板两类。数据质量检核规则模板是数据质量检核规则的标准，新建的数据质量检核规则只能使用数据质量检核规则内
8、置模板。数据质量检核规则模板如下：问题通知规则模板：模板编号桑茫穏奥用戶琅写逬模坂类列和损建冠间自或至成,是模扳头訂琨一転丧模板名称用户輸入模板类别创建人员編耀当髓系统豎录用户自动生成创建时间根蠡当前系统时间自动生成模板狀态模板描述用户髓入问题分类卞捡梔选择通知对象下蜒梔选择通细方式通知内容闿户編写3.1.1.2 任务模板创建任务时必须按照模板创建。任务模板如下：3.1.1.3 报表模板报表模板提供各种统计功能，比如规则统计、工单统计，错误数据统计等。内置报表模板只是包含工作中必须要有的报表，工作中，可根据实际需要，创建所需的报表模板。第一期建设中，内置报表模板至少应该包含：规则统计报表、工单
9、统计报表、问题数据统计报表三类多张报表。其中，按规则统计问题数据量报表模板如下：3.1.1.4 方案模板方案模板是数据问题处理人员在创建方案是必须参照的模板，方案模板如下：躺号系邃極薔品亡填写戏塡贩类毬和&產武闰自益生盂:是義極头齿曜一歸朕複扳名称用户魏入戦类别下牍額创建人员拒薔刍前養筑登骯空口皀衆生或创建时间拒据首說蚩新:霜翻兰或m态r&m模板描述用户输入方案编号方案名称用户蠶入方案描逑用户魏入方案编写人员系统皱方案执行人员下邂择方案编写时间施成3.1.1.5 结果模板结果模板是对检查任务结果的规范。质量检查结果应包括以下数据项：模板编号奚维療第导卢頃写貳模板类瓦和密建时闾皀动生成,是廩报黄
10、訂唯一后识模板名称用户輸人模板类别创建人员粮退当議農筮登录丐卢岂动生成创建时间綜畏当議寮疑於间自衣生盛模板状态下顷选惫模板描述册斂任务編号产生该雳杲的检核在务線号,織塡写规则编号产生该第杲的数据険呈检核聽则编号,案统填写结果描述信息織填写产生时间系统填写间題分类处理状态3.1.1.6工单模板工单模板是对质量问题数据工单的规范。模板编号頁纺审握昭户環刖邂贬亜弘财置硏貓詼色龙杲懿头花遞_圻识模板名称用户输入模板类别不掩框选择创建人员嶷据当議果统登录卑户自动生成创建时间根据当題系统时间总裁生成模板状态卞拉框选择模板描述用户懿丄单编号系統填写问題描迷用户填写受理对象累统填写提交人宿息系统填写3.1.1
11、.7 质量报告模板质量报告模板是生成数据质量分析报告是必须参照的标准。模板以文字为主，辅助报表、图形，并且系统能根据具体数据情况进行智能分析，产生和数据相适应的文字描述。3.1.1.8 可视化模板 可视化模板是对错误数据整体情况分析的可视化展现。3.1.1.9 日志模板日志模板对各类日志生成进行了规范。一期先规范任务日志。任务日志功能提供任务执行过程所产生的日志信息。任务日志信息按照时间顺序产生，应包括以下内容：(1) 任务执行的开始时间及结束时间(提示信息)；(2) 任务执行成功或失败的状态，任务执行产生的问题数据数量(提示信息)；(3) 每个数据质量规则执行的开始时间及结束时间(提示信息)
12、；(4) 每个规则执行所消耗的时间，及产生的问题数据数量(提示信息)；(5) 每个规则执行过程中的主要的数据库脚本(调试信息)；(6) 任务执行过程中所产生的各种错误信息(错误信息)；(7) 任务执行过程中所产生的警告信息(警告信息)。3.1.2 模板创建内置模板提供的功能不能满足实际工作需求时，可以创建模板，创建的模板必须包模板 头和模板体。创建的模板在使用一段时间之后根据其使用频率和重要性可以升级为内置模 板。3.1.3 模板查询进入模板查询页面之后自动显示当前模板分类列表，在列表后显示此类模板下的模板数 量。支持模板名称分词查询。模板查询页面有链接跳到模板修改页面。模板查询页面内置模板其
13、他模板规则模扳7A类模板10任务模板5E类模板5报表模扳15方案模板5质量报告模板2可视化模板51诗瑜入怒惑諒劇3.1.4 模板修改提供模板修改功能，界面与模板创建界面相似。模板修改页面有链接到模板查询和模板导出。3.1.5 模板审批3.2 规则管理提供数据质量规则的定义和管理，包括规则创建、查询、修改、导出、删除、审批等模块功能。功能模块如下：s叵。版n=l隸R旨最毎、raw檢旨最佟浪屁旨最版喟伺皿EKvffl。空ffiEK屈ffl坚撼mfiM冒。、映比、OOXLUans lns&旨最fl富舉zzm3.2.4 规则修改规则修改采用和规则创建基本类似的界面。规则修改过程中规则状态自动设置为开如果修改规则状态，则应自动进行与该规则相关联的在执行任务、问题、方案等的修改。3.2.5 规则导出规则导出提供规则全部或部分导出功能。 部分导出功能建立在规则查询列表基础上，根据规则查询条件导出满足条件的规则列 表。全部导出功能提供所有规则的导出功能，全部导出功能提供规则导出属性选择界面，使 用人员可以在默认的导出属性基础进行调整，选择需要导出的项目。导出项目包括规则的所 有业务属性及技术属性。导出文件格式为Excel文件。3.2.6 规则审批审批过程提供以下项目的选择：1) 审批状态：选择“通过”、“否决”；2) 审批结果：录入审批结
