中国科学院科学数据库数据量统计服务

《中国科学院科学数据库数据量统计服务》由会员分享，可在线阅读，更多相关《中国科学院科学数据库数据量统计服务（53页珍藏版）》请在金锄头文库上搜索。

1、中国科学院计算机网络信息中心 科学数据库中心 杨德婷中国科学院科学数据库 数据量统计服务主要内容 引言 数据量统计服务的体系结构 数据量统计服务的安装与配置 数据量统计服务的客户端应用 科学数据库数据量统计方法引言 需求分析 数据量是评估数据资源建设情况的重要指标之一 。 随着科学数据库数据资源的急剧增长，数据量统 计信息的准确性、科学性和实时性等问题日益突 出。 设计目标 为建库单位提供方便、快捷的数据量统计工具。 为数据中心和数据分中心，提供准确和客观的数 据量统计和评估信息。 演示主要内容 引言 数据量统计服务的体系结构 数据量统计服务的安装与配置 数据量统计服务的客户端应用 科学数据库

2、数据量统计方法数据量统计服务的体系结构 设计思想 体系结构示意图 两级服务 三层结构 服务描述数据量统计服务的设计思想 以网格服务的形式提供 基于Globus Toolkit 3 编程语言：Java 基于科学数据库核心元数据标准1.1版 本体系结构示意图 数据量统计服务两级服务Grid Level ServicesORACLESQLSERVERFOXPROMYSQLDB2ACCESSFILE SYSTEMNode Level Services三层结构DatabaseService ClientNode Level ServiceGlobus ContainerMDSService Client

3、Grid Level ServiceGlobus Container应用层服务层数据层节点级网格级节点级数据量统计服务描述操作 名称方法名称关系型 数据库文件型 数据库 数据 量统 计Long getDataVolumeByDataset (String dataset) 记录 数统 计Long getRecordCountByDataset (String dataset) 示例：Oracle数据库数据量统计服务的GWSDL文件网格级数据量统计服务描述 四种输入参数 统计所有数据集 统计指定数据集 统计指定建库单位 统计指定学科领域示例：网格级数据量统 计服务的GWSDL文件 六种输出参数

4、统计总数据量 统计在线数据量 统计离线数据量 统计记录总数 统计在线记录数目 统计离线记录数目主要内容 引言 数据量统计服务的体系结构 数据量统计服务的安装与配置 数据量统计服务的客户端应用 科学数据库数据量统计方法数据量统计服务的安装与配置 节点级数据量统计服务 安装步骤 (1)(5) 配置方法 文件型数据库 (1)(2) Oracle数据库 (1)(3) SQL Server数据库 (1)(3) 服务部署和卸载方法 网格级数据量统计服务 安装步骤 (1)(5) 服务部署和卸载方法 配置方法节点级数据量统计服务的安装（1） 系统环境 操作系统 Linux：内核2.4.18，如Redhat8.

5、0 Windows 2000， Windows XP 说明 在下面的安装步骤中，以Window XP为例说明 ，其他版本操作方法类似。凡是涉及到 Windows和Linux的不同步骤，将分别叙述。 另外，安装人员必须对相应目录和设置有“写” 权限。节点级数据量统计服务的安装（2） 安装JDK （必须安装） 安装JDK JDK1.3.1 以上版本 如果安装JDK1.3，还需要装JAAS包 ，将jass.jar拷贝到GT3的 lib目录下即可。 有关JDK的安装详细步骤，请参考JDK安装文档 设置环境变量 Windows 打开“控制面板系统高级环境变量系统变量” %JAVA_HOME% = 把“%

6、JAVA_HOME%bin”加到%PATH%路径的末尾 Linux 编辑/etc/profile文件，在最后添加下面两行。 exportJAVA_HOME = exportPATH = $PATH:$JAVA_HOME/bin节点级数据量统计服务的安装（3） 安装Ant （可选安装） 从 http:/jakarta.apache.org/ant 下载Ant 1.5 以上版本。 解压到指定目录。 设置环境变量ANT_HOME为安装路径。 把$ANT_HOME/bin添加到PATH环境变量 中。节点级数据量统计服务的安装（4） 安装节点级数据量统计服务 下载nodelevel_install_wi

7、ndows_1.0.zip安装 文件。（ftp:/192.168.2.147/sat ） 创建GT3的工作目录，解压安装文件到该 目录下 。节点级数据量统计服务的安装（5） 启动节点级数据量统计服务 启动Globus Container Windows： 在安装的目录下运行 startup.bat 停止Globus Container Windows：使用Ctrl+C终止服务。系统会提示“ 终止批处理操作吗(Y/N)?”，此时输入“Y”来确 定终止服务容器。 Linux：直接使用Ctrl+C终止服务，没有提示信 息。启动GT3后的服务列表节点级数据量统计服务的配置节点级数据量统计服务的所有配置

8、文件放在 %GLOBUS_LOCATION%sdgsatconf目录中。 文件型数据库配置文件 FileStatistics.conf.zh FileStatistics.conf Oracle 数据库配置文件 OracleStatisticsJdbcConn.conf OracleStatistics.conf.zh OracleStatistics.conf SQL Server数据库配置文件 SqlServerStatisticsJdbcConn.conf SqlServerStatistics.conf.zh SqlServerStatistics.conf 说明 目前，数据集结构信息

9、从配置文件中读取，下一版本将从MDS中读取 该信息。文件型数据库数据量统计服务的配置（1） 配置数据库的数据量统计信息 FileStatistics.conf.zh 格式 数据集1名称=目录路径1；目录2； 数据集2名称=目录路径1；目录2； 数据集名称为中文名称 可以有若干个数据集，每个数据集定义占一行。 每个数据集可以有若干个目录（可为空）,目录间 隔符为分号。文件型数据库数据量统计服务的配置（2） 将FileStatistics.conf.zh转换为Unicode编 码的文件FileStatistics.conf 检查sdg/satconf目录，如果有 FileStatistics.co

10、nf文件，请先删除。 通过JDK的native2ascii工具转换生成，运 行如下命令： native2ascii FileStatistics.conf.zh FileStatistics.conf文件型数据库数据量统计服务的测试 进入%GLOBUS_LOCATION% 编辑runclient_file.bat文件，修改最后一行的 IP地址为安装该服务的机器的IP地址。 java sdg.sat.nodelevel.file.client. FileStatisticsClient http:/*.*.*.*:8080/ogsa/services/sdg/services/sat/File

11、StatisticsFactoryService %1 运行测试端程序 Runclient_file.bat Oracle数据量统计服务的配置（1） 配置数据库访问控制信息 OracleStatisticsJdbcConn.conf 设置应加载的数据源的JDBC驱动程序名 jdbc.drivers = oracle.jdbc.driver.OracleDriver 设置访问Oracle的主机地址及通信端口。jdbc.url = jdbc:oracle:thin: 设置访问Oracle的用户名 jdbc.username = 设置上述帐号相应的用户密码 jdbc.password = Oracl

12、e数据量统计服务的配置（2） 配置数据库的数据量统计信息 OracleStatistics.conf.zh 格式 数据集1名称=表1名称；表2名称； 数据集2名称=表1名称；表2名称； 数据集名称为中文名称 可以设置多个数据集，每个数据集定义占一行。 每个数据集可以包含若干个表，表间隔符为分号 。Oracle数据量统计服务的配置（3） 将OracleStatistics.conf.zh转换为Unicode 编码的文件OracleStatistics.conf 检查sdg/satconf目录，如果有 OracleStatistics.conf文件，请先删除。 通过JDK的native2ascii

13、工具转换生成，运 行如下命令： native2ascii OracleStatistics.conf.zh OracleStatistics.confOracle数据量统计服务的测试 进入%GLOBUS_LOCATION% 编辑runclient_oracle.bat文件，修改最后一行 的IP地址为安装该服务的机器的地址。 java sdg.sat.nodelevel.oracle.client.OracleStatisticsClient http:/*.*.*.*:8080/ogsa/services/sdg/services/sat/Ora cleStatisticsFactorySer

14、vice %1 运行测试端程序 Runclient_oracle.bat SQL Server数据量统计服务的配置（1） 配置数据库访问控制信息 SQLServerStatisticsJdbcConn.conf 设置应加载的数据源的JDBC驱动程序名 jdbc.drivers=com.microsoft.jdbc.sqlserver.SQLServerDriver 设置访问SQL Server的主机地址及通信端口。jdbc.url=jdbc:microsoft:sqlserver:/: 设置访问SQL Server的用户名 jdbc.username = 设置上述帐号相应的用户密码 jdbc.

15、password = SQLServer数据量统计服务的配置（2） 配置数据库的数据量统计信息 SQLServerStatistics.conf.zh 格式 数据集名称数据库名称数据表名称；数据库名称数 据表名称； 数据集名称为中文名称 可以设置多个数据集，每个数据集定义占一行。 每个数据集可以包含若干个表，表间隔符为分号SQLServer数据量统计服务的配置（3） 将SQLServerStatistics.conf.zh转换为Unicode 编码的文件SQLServerStatistics.conf 检查sdg/satconf目录，如果有 SQLServerStatistics.conf文件，请先删除。 通过JDK的native2ascii工具转换生成，运行如下命 令： native2ascii SQLServerStatistics.conf.zh SQLServerStatistics.confSQLServer数据量统计服务的测试 进入%GLOBUS_LOCATION% 编辑runclient_sqlserver.bat