《Informatic SuperGlue 元数据管理平台》由会员分享,可在线阅读,更多相关《Informatic SuperGlue 元数据管理平台(50页珍藏版)》请在金锄头文库上搜索。
1、企业级元数据管理SuperGlue2元数据简介23元数据(Metadata) 定义元数据是描述数据的数据(Data about Data)。可理解为比一般意义的数据范畴更加广泛的数据,不再仅仅表示数据的类 型、名称、值等信息,进一步提供了数据的上下文描述信息,比如数据的 所属域、取值范围、数据间的关系、业务规则,甚至是数据的来源。在分析型项目中,元数据可以帮助DW管理员和DW开发人员非常方便地找到 他们所关心的数据 元数据是描述分析型应用内数据的结构、建立方法及流程的数据,可将其 按用途的不同分为两类:技术元数据(Technical Metadata)和业务元数 据(Business Meta
2、data)。4这些问题真是头痛 已存在系统,有哪些关键业务数据? 关键业务数据在不同系统的业务定义? 同一实体在不同系统中的命名规则及其他属性一致? 同一实体与本系统或其他系统对象是否存在依赖关系? 具体的依赖关系描述是怎么样的? 实体所有者是谁?谁作过修改或变更? 一旦对象定义发生变化,其他开发团队会不会有影响? 老板问,这张报表A指标值怎么算出来的?原始数据从哪得到的? 公司要上市,要审计公司信息化建设的健康程度,以什么为依据?总不能给人家看像山一样高的word或excel 文档吧? 许多政策法规范要求数据透明(例如美国的萨班斯-奥克斯莱法案)以及专业行业协会(例如监督环境保护、食品与药物
3、安全、劳动行为以及运输安全的行业协会) 5元数据的使命是企业智能化信息建设的DNA提供一份数据定义和元素的详细示意图, 有利于发现冗余的定义和元素企业元数据标准: 减少数据冗余性,增加数据共享,使应用开发过程更有效费用更低、 避免异构结构定义、提高不同工具之间定义的重复利用率帮助用户理解数据来龙去脉、关系及相关属性企业集成所必需的::参照性、引用性、血缘分析、影响分析、变化分析。质量审计 : 血缘分析支持需求变化 : 变更报告状态元数据有利于增强企业运营效率、规避错误及风险 有一点是不变的: 利用数据解决企业问题的能力,仍然是企业 赢利和取胜的关键 有用的数据在哪里:好像在沙滩上寻找一粒沙子-
4、答案:元数据6元数据现状各自为战,所遵循的标准各异。元数据管理建模工具: ERwin PowerDesigner Rose Oracle Designer数据集成工具 PowerCenter DataStage SAS SagentBI 工具: BO Cognos MSTR 元数据源 RDBMS EXCEL CWM XML 7元数据标准化的意义在形成标准以前,要进行集成的情况如下图所示:数据建模工具抽取与转换 工具前端访问工具数据质量评估 工具8元数据标准化的意义在形成标准以后的情况如下图所示:数据建模工具抽取与转换 工具前端访问工具数据质量评估 工具元数据存 储与管理数据仓库与元数据 管理员
5、9元数据标准910元数据(Metadata) 标准化 OMG (Object Management Group)是一个拥有500多会 员的国际标准化组织,著名的CORBA标准即出自该组 织。 公共仓库元模型(Common Warehouse Metamodel) 的主要目的是在异构环境下,帮助不同的数据仓库工具 、平台和元数据知识库进行元数据交换。 11CWM元模型的包结构 仓库过程仓库操作转换XML记录型多维关系型资源业务信息软件发布UML 1.3 (基础,行为元素,模型管理)对象 (UML)OLAP 分析数据 挖掘信息可视化业务术语数据 类型表达式键 索引类型映射管理资源分析基础对象模型1
6、2市场评价1213Intelligent Enterprise2005 Readers Choice Awards 14Informatica SuperGlue(Metadata Manager MM)1415企业现状数据丰富、知识匮乏多种工具产生多种元数据快速实施DW或分析型项目都会陷入元数据困境-数据/定义 重复、冗余、不一致-企业整体利用数据受到质疑 仔细听听这两个声音:-“两种产品间元数据的同步很难。要想在用于建立、运行和访问数据仓库所需的 六种工具间进行元数据同步几乎是不可想象的。但对于流畅、强大、高效率的数 据仓库操作来说,要么同步,要么放弃“-“我们实际需要的是能够由所有工具访
7、问的专一而全面的元数据源,这些工具不 但包含专为数据仓库服务的工具,也包含为其它IS功能服务而购买的工具。总之 ,一个元数据源,就没有同步问题了“16Informatica SuperGlue 体系结构SourcesTargetsBusiness IntelligenceMetadata MetadataMetadataCustom MetadataData ModelingMetadataSuperGlueMetadata17Informatica SuperGlue 元数据管理流程Meta Source RepositoriesPowerCenter Server (ETL)Integra
8、tion RepositoryPresentation ServerApplication ServerXConnectSuperGlue Warehouse + SuperGlue Server Repository18Informatica SuperGlue 采集元数据界面19SuperGlue 特性内嵌的数据整合引擎内嵌的数据整合引擎可扩展的可扩展的Web-BasedWeb-Based体系结构体系结构私有目录私有目录直观的分析和报表直观的分析和报表智能数据体系智能数据体系20私有元数据目录 (如A的IT)跨系统、 跨项目 通用搜索考究的 knowledge base 角色, 系统, 基
9、于流程的视图21智能数据体系 提供了审计索引的功能功能丰富的 可视化 图形化 回溯信息 直到数据源精确的、最新的 元数据模型 驱动当数据源 改变时 关联信息 被刷新22直观的分析和报表功能 近在咫尺的洞察力“信息供应链”的 全面质量管理 数据质量, 使用, 冲突分析, 冗余分析仪表盘驱动 监控和 信息公告23元数据整合元数据整合XConnectsXConnectsSDKSDK内嵌的数据整合引擎 访问到任何位置、任何元数据 任何数据源 元数据 知识库, 平面文件, 关系型数据库, 应用程序, XML, CWM-XMI易于使用 完全可视化的 开发 环境用于 元数据整合?DBMSEAIMS Offi
10、ceERPCASEBIETLFlat FilesXMLOthersListListAutomatic4.List24可扩展的Web-Based体系结构 灵活的开发和部署百分之百基于Web J2EE兼容平台内嵌的私有化设置 对象和功能层次的许可可扩展性 任何信息, 任何关联, 任何元数据模型 (基于OMG MOF协议)友好的入口 Web服务, 完全SDK没有隐藏的议程 开放的关系型数据库, 操作系统, 服务器支持25XXX元数据管理系统Informatica SuperGlue2526元数据体系结构27个性化的仪表盘不同用户的个性化 仪表盘报警提示数据集成运营报表影响分析差异分析信息公告28Co
11、bol 样本文件29方法一:利用PowerCenter Designer 导入Cobol 结构30方法二:利用SuperGlue 的自定义元模型 内置了基于CWM的COBOL类31集成Oracle ,Erwin, PowerCenter等多种工具的元数据 PowerCenter 内Cobol 结构的显示32业务元数据 基本定义对象版本控制 反应历史变化33业务元数据 基本定义34元数据血缘分析 跨工具计算表达式数据源数据整合过程35SuperGlue 内置元数据同步引擎 定期或不定期地更新数据项的具体内容 可手工或调度执行元 数据同步任务36高安全性,可增删: 用户、组、角色,并赋予不同权限3
12、7SuerGlue: 强大的元数据影响分析38SuperGlue: 跨工具元数据血缘分析表级、字段级验证数据流程及中间转换过程验证数据流程及中间转换过程验证月收入字段向后血统向前血统39SuperGlue友好界面 完全Web 式 访问 树状导航 跨工具 操作简单 个性化的仪 表盘 40SuperGlue : 用户登录日志41SuperGlue: 用户活动日志42SuperGlue: 可设定日志级别43SuperGlue: 元数据模糊查询44SuperGlue: 集成了百张信息统计报表45Informatica SuperGlue 成功案例4546Thrivent Financial 挑战: -
13、跨数据仓库多个过程的影响分析-多个应用基础架构的管理 -所有手工的过程, Excel文件解决方案:-环境: PowerCenter, PowerAnalyzer on AIX, ER Studio-SuperGlue 元数据目录,搜索, 血缘分析和影响分析收益:-能够实现以前所不能作到的多种分析-帮助决定数据仓库的成本及基础架构-变更分析,可及时传播到各个团队47Hewlett-Packard Data Insight挑战: -多个不同数据源中,存在不准确的、矛盾的数据-不能跨系统的识别和找到相关内容解决方案:-环境: PowerCenter, Oracle, SQL Server; Erwi
14、n, Rational Rose, Business Objects, custom-SuperGlue 元数据目录, 搜索, 血缘分析 和影响分析收益:-提高数据的准确性和一致性-提高了针对数据起源、数据流程及数据目录的认识程度-减少运营报告的周期-提高已存在数据元素的可重用性和标准化程度48Waste Management 自动元数据的采集挑战: -不能实现自动的源和目标数据源的元数据采集 -要为报表和信息系统提供准确、及时的元数据定义 -要提高ETL过程的可见度解决方案: -环境: Oracle 9i, PowerCenter 7.x, IBM AIX, DB2 on AS400, Er
15、win, PowerAnalyzer -SuperGlue 元数据目录, 搜索, 血缘分析 和影响分析收益: : -高效的自动元数据采集 -为业务用户提供服务层次 -提高数据仓库中数据处理过程的可见度 -增强运营的技术元数据:转换、计算、运行时间、加载数据量等49Abbott Labs 跨系统的影响分析挑战: -手工管理元数据,主要方式: Excel, Access, Word -不能实现跨系统的变化影响分析解决方案: -环境: Oracle, SQL Server, Excel and Access, Erwin and Oracle Designer, Cognos -SuperGlue 元数据目录, 搜索, 血缘分析 和影响分析收益: -广泛系统的影响分析 -提高决策力度 -精减业务流程 -方便业务人员完成商业和市场的分析50