《ssis概念及应用》由会员分享，可在线阅读，更多相关《ssis概念及应用（26页珍藏版）》请在金锄头文库上搜索。
1、,SSIS概念及应用,目的,初步了解SSIS 能够利用SSIS进行简单开发 能够管理维护SSIS开发的ETL包,2,纲要,ETL简单介绍 SSIS介绍 典型应用举例 错误处理和调试 日志和部署 优化 实际项目举例,3,ETL简单介绍,ETL定义 ETL常用工具介绍 ETL和ELT,4,ETL定义,ETL中三个字母分别代表的是Extract、Transform、Load，即抽取、转换、加载。 （1）数据抽取：从源数据源系统抽取目的数据源系统需要的数据； （2）数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工。 （3）数据加载：将转换后
2、的数据装载到目的数据源。,5,ETL常用工具介绍,informatica power center DataStage SSIS： Microsoft SQL Server Integration Services OWB：Oracle Warehouse Builder ODI：Oracle Data Integrator IBM DB2 DWE：Data Warehouse Edition,6,SSIS简单介绍,SSIS的历史 SSIS的定义 SSIS的基本构建 SSIS重要组件介绍 SSIS 包的典型用途,7,SSIS的历史,SSIS并不是DTS的简单升级,8,SSIS的定义,Micro
3、soft SQL Server 2005 Integration Services (SSIS) 是生成高性能数据集成解决方案 （包括数据仓库的提取、转换和加载 (ETL) 包）的平台。 （1） 是数据导入导出向导 （2） 是ETL工具 （3） 控制流引擎 （4） 应用程序平台 （5） 高性能的数据转换数据管线,9,SSIS的基本构建,（1）程序包（package） （2）任务（task） （3）数据源 （4）优先约束 （5）容器 （6）变量 （7）数据流：源、目的地和转换 （8）错误处理和日志记录 （9）配置管理,10,SSIS重要组件介绍,常用连接管理器 控制流中的常用任务 数据流常用组件
4、,11,常用连接管理器,OLEDB连接管理器 EXCEL连接管理器 平面文件连接管理器 SMTP连接管理器,12,控制流中的常用任务,据流任务 Foreach 循环容器 For 循环容器 序列容器 执行包任务 执行 SQL 任务 脚本任务,13,数据流常用组件,数据转换 派生列转换 脚本组件 OLE DB 命令转换 聚合转换 排序转换 条件性拆分转换 查找转换 渐变维度转换,14,SSIS 包的典型用途,合并来自异类数据存储区的数据 填充数据仓库和数据集市 清除数据和将数据标准化 将商业智能置入数据转换过程 使管理功能和数据加载自动化,15,典型应用举例,举例1 :加载和导出excel文件 举
5、例2:文件检查点 举例3:数据同步 举例4:web service和XML处理,16,错误处理和调试,错误处理 错误重定向到文件和数据库中 利用检查点 调试 断点 数据查看器 输出日志,17,日志和配置部署,日志 配置部署,18,日志类型,文本文件 SQL Server Profiler SQL Server Windows 事件日志 XML 文件,19,配置部署,配置 XML 配置文件 环境变量 注册表项 父包变量 SQL Server 表 部署类型 文件系统 SQL Server,20,优化,优化数据源 数据流优化 插入性能优化,21,优化数据源,1 优化数据源 （1） 删除不需要的列；
6、（2）使用SQL SELECT语句从视图中提取数据； （3） 优化数据源查询； 2 使用平面文件及其它文件源 （1） 把平面文件中相邻的不需要的列组合起来； （2） 将平面文件中不需要的列保留为“String”类型； 3 清除隐藏的操作 （1） 只在必要的时候进行列的解析或转换； （2） 在“平面文件源”适配器中使用“FastParse”选项； （3） 清除不必要的日志记录；,22,数据流优化,1 使用索引； 2 实现并行性； 3 清除不必要的操作； 4 将查找引用配对；,23,插入性能优化,1 使用“SQL SERVER 目标”适配器； 2 设置“提交容量”; 3 打开“表锁”； 4 关闭约束； 5 使用“最少日志记录”； 6 再加载时考虑禁用索引；,24,问题与讨论,25,欢迎大家提出问题讨论！,结束语,26,谢谢大家！,
