《数据迁移与整理》由会员分享，可在线阅读，更多相关《数据迁移与整理（49页珍藏版）》请在金锄头文库上搜索。
1、数据迁移与整理讲师刘春霞DATAGURU专业数据分析社区专业数据分析社区数据数据迁移迁移与与整理整理数据迁移与整理数据迁移与整理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区正文【声明】本视频和幻灯片为炼数成金网络课程的教学资料，所有资料只能在课程内使用，不得在课程以外范围散播，违者将可能被追究法律和经济责任。课程详情访问炼数成金培训网站http:/数据迁移与整理数据迁移与整理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区炼数成金逆向收费式网络课程Dataguru（炼数成金）是专业数据分析网站，提供教育，媒体，内容，社区，出版，数据分析业务等服务
2、。我们的课程采用新兴的互联网教育形式，独创地发展了逆向收费式网络培训课程模式。既继承传统教育重学习氛围，重竞争压力的特点，同时又发挥互联网的威力打破时空限制，把天南地北志同道合的朋友组织在一起交流学习，使到原先孤立的学习个体组合成有组织的探索力量。并且把原先动辄成千上万的学习成本，直线下降至百元范围，造福大众。我们的目标是：低成本传播高价值知识，构架中国第一的网上知识流转阵地。关于逆向收费式网络的详情，请看我们的培训网站 http:/数据迁移与整理数据迁移与整理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区内容 IBM 数据整合平台 Information Server
3、 数据整合及实时数据获取 数据质量 元数据管理数据迁移与整理数据迁移与整理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区计算的新纪元:信息整合&治理 (IIG)比任何时候都重要扩展应对数据爆炸屏蔽日益增长的 复杂性提供快速实施能力SourcesConsumers数据迁移与整理数据迁移与整理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区可信赖的信息 InfoSphere提升业务价值高效应用单一视图大数据, 数据仓库 及分 析应用集成 和下线安全与合规数据整合和治理平台 将不确定信息转换为有价值的可信赖信息移动 设备交易内容应用不确定数据数据生命 周
4、期管理信息整合元数据和信息治理策略数据质量主数据管理隐私&安全分析提升利润降低数据成本客户保持风险欺诈识别加速新产品上线高效协作社交 媒体机器 数据数据迁移与整理数据迁移与整理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区IBM信息整合解决方案7发现、建模和管理信息结构与 内容标准化、合并和纠正信息组合和重构信息以用于新的用途同步、虚拟化和移动信息以实现 联机交付IBM Information Server开发人员主题专家数据分析师业务用户架构师DBAs数据迁移与整理数据迁移与整理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区IBM Inform
5、ation Server信息治理目录标准化、合并和纠正信息组合和重构信息以用于新的用途异构信息的虚拟化访问Information Services DirectorMetadata Server / Metadata Workbench为整合信息和访问发布SOA服务分析 & 理解 源数据跨信息整合生命周期的统一的元数据管理开发人员主题专家数据分析师业务用户架构师DBAs自动剖析数据关系8IBM信息整合解决方案数据迁移与整理数据迁移与整理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区9InfoSphere Information Server核心功能InfoSphere
6、Information Server Enterprise Edition业务驱动信息治理和监管业务驱动信息治理和监管敏捷的数据整合敏捷的数据整合数据质量持续提升数据质量持续提升 Blueprint Director Discovery Data Architect FastTrack DataStage Change Data Delivery Information Services Director Metadata Workbench Blueprint Director Discovery Information Analyzer QualityStage Information S
7、ervices Director Metadata Workbench Information Governance Catalog Blueprint Director Discovery Data Architect Information Services Director Metadata WorkbenchInfoSphere Information ServerInformation Governance CatalogData IntegrationData Quality数据迁移与整理数据迁移与整理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区10Inf
8、oSphere Information Server核心功能InfoSphere Information Server Enterprise Edition业务驱动信息治理和监管业务驱动信息治理和监管敏捷的数据整合敏捷的数据整合数据质量持续提升数据质量持续提升 Blueprint Director Discovery Data Architect FastTrack DataStage Change Data Delivery Information Services Director Metadata Workbench Blueprint Director Discovery Inform
9、ation Analyzer QualityStage Information Services Director Metadata Workbench Information Governance Catalog Blueprint Director Discovery Data Architect Information Services Director Metadata WorkbenchInfoSphere Information ServerInformation Governance CatalogData IntegrationData Quality数据迁移与整理数据迁移与整
10、理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区 11Type 1: Normal Batch 传统大数据量处理 Type 2: Micro-Batch 定义停止/启动，规律间隔运行，接近于实时需求 Type 3: ELT (or mixed TETLT) 将部分或者全部处理下压到数据库Type 1: 信息服务- Full Interaction信息通过web service驱动更新或者获取 Type 2: 信息服务- Information Retrieval 启动服务，无需输入参数，例如获取信息 Type 3: 基于Queue / Always On 数据到达时，监
11、控队列和过程 Type 4: 基于CDC / Always On 从低延时基于日志复制从fCDC 中获取数据作为数据源 Type 5: 触发数据整合任务通过Web Service启动数据整合/清洗任务 触发service, 无输入/输出要求BatchReal time最广泛的数据整合任务拓扑数据迁移与整理数据迁移与整理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区InfoSphere Data Click 点击两次即可向数据集市加载数据 基于Web的用户体验，允许毫无经验的用户通过简单地点击以批量或者实时的方式移动数据，并具有内置的管理和优化措施内置管理: 定义和控制数
12、据获取的范围和数据结构业务灵活性:数据获取自服务，选择所需数据结构来获取数据内置管理:查看和管理环境和依从度数据迁移与整理数据迁移与整理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区FastTrack 跟踪从业务需求到应用开发的过程单一，集中管理的架构跟踪从业务需求到开发的整个过程可以输入Excel格式的影射规范文件可以定义业务术语并且将其连接到相应的物理元数据自动生成DataStage作业并且将复杂的转换的描述通知开发员生成历史文档用于审计 灵活的报表功能 和审计自动生成 DataStage作业定义影射规范以及业务规则和业 务术语数据迁移与整理数据迁移与整理 讲师讲师
13、刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区数据转换和数据迁移： DataStage 提供图形化开发界面，内置上百种控件和函数，无需开发手工代码优化整合对象的复用性 支持实时数据和批量数据项目间可以复用控件 完全的元数据驱动ETL功能，统一的元数据管理，与Information Server其他部件共享元数据 提供高可靠的线性可扩展能力 更利于团队协作开发 提供丰富的数据接口组件 ，允许同时整合 种类繁多的数据源通过图形化开发，满足任意数据量和复杂转换的需求，支持批量和近通过图形化开发，满足任意数据量和复杂转换的需求，支持批量和近 实时的数据整合流程。实时的数据整合流程。架构师
14、架构师开发人员开发人员InfoSphere DataStage数据迁移与整理数据迁移与整理 讲师讲师刘春霞刘春霞DATAGURU专业数据分析社区专业数据分析社区联通性 : 通用互联服务常规访问常规访问Sequential File Complex Flat File File Set Data Set Named Pipe iWay FTP SFTP Compressed / Encoded Data External Command Call Parallel/wrapped 3rdparty apps EMC InfoMover Web logs Email实时数据实时数据WebSpher
15、e MQ Java Messaging Services (JMS) Java XML & XSL-T Json EBXML Web Services (SOAP) Enterprise Java Beans (EJB) EDI FIX SWIFT HIPAA企业级应用企业级应用 JDE/PeopleSoft OneWorld Oracle Applications PeopleSoft SAS SAP BW SAP R/3 Siebel Ariba Manugistics I2 EtcIBM 连接连接Allbase/SQL C-ISAM D-ISAM Datacom/DB DS Mumps
16、Enscribe Essbase FOCUS IDMS/SQL ImageSQL Infoman KSAM M204 MS Analysis Nomad Nucleus RMS S2000 Supra TOTAL TurboImage Unify And many more.数据库数据库DB2 (on Z, I, P or X series) Oracle Informix (IDS and XPS) Ingres Netezza GreenPlum Progress RDB RedBrick SQL/DS SQL Server Sybase (ASE & IQ) Teradata Universe UniData NonStop SQL InfoSphere Federation Se
