《SDABASPA3.0使用手册》由会员分享，可在线阅读，更多相关《SDABASPA3.0使用手册（46页珍藏版）》请在金锄头文库上搜索。
1、SDABAS PA 3.0 使用手册明博智创（北京）软件技术有限责任公司2013 年 03 月SDABAS PA 3.0 使用手册21 安装及运行1.1 软件说明SDABAS（Smart Data Business Analysis System）明智商业分析系统是明博智创（北京）软件技术有限责任公司自主研发的商业分析产品家族的总称。其中SDABAS PA（Pre Analysis）明智商业预分析系统是 SDABAS 产品家族的重要组成部分，是一个数据预分析系统，用来完成数据的抽取，转换和加载工作。本手册只针对 SDABAS PA 3.0。可执行文件说明： SDABAS_ PA_GUI: 使用
2、图形界面的方式，创建或运行一个转换任务; SDABAS _PA_TRANS: 使用命令行的方式，运行一个转换任务; SDABAS_ PA_JOB: 使用命令行的方式，运行一个作业任务;1.2 运行环境系统基于 Java，需要 JRE1.6.0 及以上支持，可以运行在 windows 和 Linux 平台下。运行启动方式如下：Windows SDABAS _PA_GUI.bat 图形界面方式启动 SDABAS_ PA_TRANS.bat 命令行方式运行转换 SDABAS _PA_JOB.bat 命令行方式运行作业Linux SDABAS_ PA_GUI.sh 图形界面方式启动 SDABAS _P
3、A_TRANS.sh 命令行方式运行转换 SDABAS _PA_JOB.sh 命令行方式运行作业1.3 安装配置1) 下载对应版本的 ZIP 文件。2) 将文件解压缩到指定目录。SDABAS PA 3.0 使用手册33) 设置 JRE 路径，注：版本需要 1.6.0 及以上版本。请在 CMD 窗口中，运行 java version 确认版本，如果版本不符合运行要求，请安装相应版本，或者手工修改 set PATH=%JAVA_HOME%bin;.;%PATH%到对应的路径1.4 运行配置1) 资源库配置资源库用来保存连接信息和转换信息。用户通过图形界面创建的的数据库连接和数据转换任务可以保存在资
4、源库中。资源库可以是各种常见的数据库，如Oracle， MySQL，MSSQL 等。用户通过用户名/密码来访问资源库中的资源，默认的用户名/密码是 admin/admin。设定时请将相应服务器、端口、数据库名称、数据库访问用户名、数据库访问密码设定好，点击测试连接通过即可。2) 用户设置设定完资源库后，需要设定本工具登录的用户名和口令，缺省用户名为admin，用户密码为 admin。2 功能模块介绍S D A B A S P A资源库管理转换编辑转换运行A P I 接口资源库创建资源库浏览器转换设计核心对象资源库连接设定数据库连接主对象树不推荐应用流程脚本统计连接数据仓库检验查询B i gD
5、a t aA g i l e作业映射批量加载内联实验历史转换输入输出转换运行转换预览转换验证转换日志J s o n 输入X M L 输入表输入E x c e l 输入系统信息输入生成记录配置文件输入C S V 输入Json输出XML输出Excel输出Cube输出SQL文件输出数据查询数据库连接流查询调用存储过程检查文件字段选择计算器流查询行扁平化拆分字段行转列增加常量列转行分组序列值映射配置文件输出更新文本文件输出删除表述出2.1 资源库管理2.1.1 资源库创建首次登录时需要创建资源库，也可以根据实际项目的需求，建立多个资源库。资源库既可以采用与待转换的数据库是同一个数据库，也可以为不同的数
6、据库，只要支持 JDBC 接口即可。登陆界面如下：点击图标 （添加）进入添加界面：选中数据库资源库选项进入创建数据库类型的界面，界面如下：SDABAS PA 3.0 使用手册2其中，新建以及编辑功能最为常用。新建的界面如下：目前只需要在【一般】选项卡下设置。在【连接名称】下输入数据库连接的名称，【连接类型】选择要作为存储数据库的 DBMS。SDABAS PA 3.0 使用手册3其它设置请根据不同 DBMS 的特性进行设定。编辑功能，必须在选定了资源库连接后，才可用，其界面与新建界面一致。2.1.2 资源库连接设定设定好资源库后，以后再次运行工具时就可以选择相应的资源库。输入用户名和密码后即可进
7、入。2.1.3 资源库浏览器进入系统后，选择【工具】【资源库】【探索资源库】进入资源库浏览器。资源浏览器有【浏览】、【连接】、【安全】、【从服务器】、【分区】、【集群】几个选项卡。默认进入的是【浏览】选项，其界面主要包括资源目录树区域、已创建转换浏览区域。其中，目录树区域用于快速查找，而右侧的转换浏览区域，用于快速进入需要设计的转换。【连接】选项里为系统中已经建立好的数据库连接串，可以是来源的数据库SDABAS PA 3.0 使用手册4也可以是目的数据库。主要是在进行转换任务设置时设定需要用到的数据库连接。用鼠标右键可以创建、编辑和修改数据库连接串。可参考“2.2.2.1 表输入”中相关内容。
8、【安全】选项里为用户提供对于资源库的用户以及权限设置。2.2 转换编辑一个转换任务里包括多个步骤和注释，步骤基本可以分为三类，输入步骤、输出步骤、转换步骤。 输入步骤：在该步骤里指定数据来源，如果是表输入要指定 JDBC 连接参数，表名等信息，如果是文件输入，要指定文件名，分隔符等参数。 转换步骤：转换步骤用于数据的转换，常见的转换步骤包括：选择列、行过滤、增加常量，增加序列、排序、分组、记录集连接（左连接/右连接/内连接/外连接）、增加变量、拆分列、行转列、列转行、扁平化、值映射等 输出步骤：指定数据最终流向的目的地。系统的主操作界面分为主对象树选项卡、核心对象选项卡和主设计界面区，通过鼠标
9、拖拽核心对象选项卡中的图标进行步骤设定，其界面如下：SDABAS PA 3.0 使用手册52.2.1 输入2.2.1.1文本文件输入在【核心对象】【输入】选择 ，将其拖拽到主设计界面中，在主界面上双击 图标，进行参数设定。设置界面如下：SDABAS PA 3.0 使用手册6主要设置【文件】、【内容】、【字段】三个选项卡。具体步骤如下：1) 点击【浏览】按钮选择输入文本文件。2) 点击【增加】按钮将文本文件添加到选择文件列表中3) 切换到【内容】选型卡，设定文本格式类型、分隔符、头部和尾部信息等，一般只需要更改分隔符设置4) 切换到【字段】选型卡，点击获取字段获得输入文件的字段5) 根据文本字段
10、的类型设定对应的字段类型和长度2.2.1.2表输入在【核心对象】【输入】选择 ，将其拖拽到主设计界面中，在主界面上双击 图标，进行参数设定。设置界面如下：在设置界面中，主要设置数据库连接和 SQL 语句，数据库连接可以通过下拉列表来选择，也可以新建一个新的连接。【新建】连接界面如下：SDABAS PA 3.0 使用手册7具体的设置与资源库设置一致，请参考“2.1.1 资源库创建”。在数据库连接中可以支持 JDBC 和 ODBC 两种方式。例如：选择 Access 做为数据库时，可以在【连接类型】选择“MS Access”，【访问方式】选择“ODBC”，【数据库名称】选择 ODBC 的名称。其余
11、保留空白。SQL 语句设置时，可以自己手工写 SQL 语句，也可以通过【获取 SQL 查询语句】按钮通过访问表来自动获取 SQL 语句。2.2.1.3获取系统信息在【核心对象】【输入】选择 ，将其拖拽到主设计界面中，在主界面上双击 图标，进行参数设定。设置界面如下：SDABAS PA 3.0 使用手册8系统信息用于获取变量的信息，在名称中输入字段名后，再在类型中选择信息类型。使用场景如下：如某一张表的数据需要统一增加一个固定列值时，可以采用本方法进行转换。转换图如下：【表输入】为任意一张数据表，【获取系统信息】选择的类型为 IP 地址，【字段选择】自动获取即可，【文本文件输出】选择对应的文件，
12、则输出的结果将在每条记录后新增一个 IP 地址。2.2.1.4生成记录在【核心对象】【输入】选择 ，将其拖拽到主设计界面中，在主界面上双击 图标，进行参数设定。设置界面如下：需要在名称、类型、长度、精度输入对应信息，在【值】一栏中输入需要生SDABAS PA 3.0 使用手册9成的数值，其中【限制】为需要生成的记录条数。生成记录可应用于：生成一批临时数据进行数据转换验证。也能够应用在测试上生成大量测试数据。2.2.1.5Excel 输入在【核心对象】【输入】选择 ，将其拖拽到主设计界面中，在主界面上双击 图标，进行参数设定。设置界面如下：首先在【文件】选项卡中点击【浏览】选择文件，并点击【增加
13、】按钮将其添加到列表中。切换到【工作表】选项卡，点击【获取工作表名称】获得对应的工作表。切换到【字段】选型卡，点击【获取来自头部数据的字段】进行字段选择。SDABAS PA 3.0 使用手册10Excel 输入步骤设置参数列表1. 文件选择一个 Excel 文件或保存有 Excel 文件的目录。文件或目录：设置要读取的 Excel 文件的名称，或一个目录。可以使用 【浏览】按钮来选择文件或目录。正则表达式：设置一个正则表达式来匹配一个目录下的部分 Excel 文件。选择的文件：列出所有选中的文件，可以使用【增加】按钮将【文件或目录】中的文件添加到文件列表中。2. 工作表选择工作薄中的一个或多个
14、工作表，并通过指定工作表中的开始行号和开始列号来设要读取的内容。工作表名称：设置要读取的工作表的名称，可以通过【获取工作表名称】按钮来获取 Excel 工作薄中的所有工作表。起始行：设置工作表中数据的开始行号（从 0 开始）起始列：设置工作表中数据的开始列号（从 0 开始）3. 内容头部： 如果内容中第一行是列名，则选中该选项。非空记录： 在输出中不包括空行。停在空记录： 在读取工作表内容的过程中如果遇到了空数据行则读取结束。限制： 读取的最大行数, 0 代表所有行。编码：指定 Excel 文件的编码，如果预览记录时有乱码，则需要改变编码。Excel 文件类型： 选择当前文件的文件类型。添加文
15、件名：在结果文件中是否添加文件名。4. 错误处理严格类型检查： 如果选中该选项，当读取到的列数据类型和指定的列数据类型不一致时则读取失败. 否则会进行数据类型的转换，如果转换失败则产生错误行（行中的一个或多个数据读取失败）。忽略错误：如果选中该选项，当读取数据行发生错误行时，则忽略发生的错误行。跳过错误行： 如果选中该选项，将跳过发生错误的行。否则读取错误的数据将置为空值。警告文件目录：设置警告信息保存目录，用于保存在读取数据过程中发生的警告。错误文件目录：设置错误信息保存目录，用于保存在读取数据过程中发生的错误。错误的记录数文件目录：设置错误行号保存目录，用于保存在读取数据过程中发生错误行的
16、行号。5. 字段显示并设置从 Excel 工作表中读取到的所有字段，包括名称，类型，精度，刻度，转换掩码等信息。名称：列出要读取的字段名，用户可以通过【获取字段名称】按钮获得所有字段名。SDABAS PA 3.0 使用手册11类型：指定字段的期望数据类型，如果和实际数据类型不符，可能在读取时会产生错误。长度：该字段的长度。精度：该字段的精度（对于 Number 类型）。去除空格类型：去除空格的几种方式（不去除、左去除、右去除、全部去除）格式：设置数据格式，一般用于数据转换的情况。Excel 工作表中的数据，都有特定的数据类型，因此在读取数据时，需要为每个字段设置和实际相符的正确的数据类型。如果没有设置数据类型，则所有的数据都以字符串方式来读取，此时不同类型的数据转换为字符串时，会有不同的转换方式。以数值类型转换为字符串类型为例：格式表达式 格式描述#,#,#.#
