烟草行业数据中心基本的介绍

《烟草行业数据中心基本的介绍》由会员分享，可在线阅读，更多相关《烟草行业数据中心基本的介绍（36页珍藏版）》请在金锄头文库上搜索。

1、数据中心基本介绍 中软国际 2008 06 数据中心在烟草 什么是数据中心 在线联机分析OLAP 数据挖掘 数据展现 数据仓库 商业智能系统 管理决策 电子商务 电子政务 ERP 市场信息 信息系统层 数据中心 datacenter简称DC 是商业智能应用在烟草行业发展应用的特定叫法 从商业智能的角度理解数据中心 烟草行业信息化建设发展到一定程度 具有一定的数据积累 并以数据仓库 DataWarehousing 联机分析处理 OLAP 数据挖掘 DataMining 等技术为基础 以数据集中 查询 分析 知识发现为手段 采用的一系列方法 技术和软件的总和 数据 E抽取 T转换 C清洗 L装载

2、数据存放层 数据分析层 知识分析层 战略决策层 数据中心在烟草 数据烟草发展纲要 统一平台 统一数据库 统一网络 统一行业数据中心建设 数据中心建设要在保证不同业务系统数据相对独立的基础上 建立数据交换和共享机制 通过对数据的加工 清洗 传递和交换 实现行业公用数据的标准化 一致化 建成基于不同类型业务主题的高水平数据应用环境 实行数出一门 信息共享 行业要建设国家局 总公司 省级局与工业公司 基层工商企业三级数据中心 逐步向上集中 在国家局 总公司 数据中心的统一管理下 要通过数据整合 按照一定的规则和权限 在行业内部实行各取所需 授权访问 做到信息共享 烟草行业数据中心建设实施意见 行业数

3、据中心建设的总体目标是 构建以信息资源标准为基础的数据交换平台 数据存储平台和信息服务平台 通过数据的收集 存储 加工 产生全面 准确 及时的信息资源 实现资源整合 信息共享 通过信息资源的分析 决策 执行 反馈 建立全面准确量化的管理体系 实现管理从定性向定量 由静态向动态 由事后向实时的转变 提升行业经营管理水平 提高行业整体竞争实力 5 数据中心建设思路 烟草行业数据中心建设实施意见 烟草行业数据中心由国家局和省级公司两级数据中心构成 由信息资源标准 数据交换服务 数据加工存储 数据分析应用和信息安全保障五个基本体系组成 应用包括国家局 省级公司和工商企业三级用户 把握基础信息就等于把握

4、信息化建设 价值 数据集成 统一交换 信息整合 辅助决策 建立企业内部统一的信息资源标准 统一企业内部的数据口径与理解 提高数据质量 同时为后续建设系统提供指导 信息集成 建立中心数据库 通过数据中心项目中的中心数据库建设 统一数据出口 进行数据管理 实现数出一门 实现数据采集渠道统一 消除信息孤岛 避免大量私有接口 减少后续系统开发的复杂度 避免牵一发动全身现象 保持业务系统独立性 建立数据中心 梳理业务流程 打破系统边界 职能界限 实现有效的信息整合 实现数据向知识的转换 充分体现事前预测 事中监控 事后分析原则 统一规范 建立企业内部统一的信息资源标准 统一企业内部的数据口径与理解 提高

5、数据质量 同时为后续建设系统提供指导 响应国家局几个统一的要求 能够真正有效的管理信息系统 使企业内部规范 为企业高层领导服务提高系统肯定率 整体构架 数据运行保障体系 信息资源标准体系 数据交换服务体系 数据源 数据存储加工体系 企业内部数据 数据分析应用体系 行业平台 数据传输通道 卷包数采 MES数据 ETL工具 报表 OLAP分析 企业级数据仓库 代码中心 其他 录入导入 数据中心架构 能源系统 制丝集控 其他系统 9 9 中软国际在数据中心项目中做什么 工艺过程质量效率可控柔性化生产随需应变 重点难点 卷烟生产供应链的启发 让用户明确工作及定位 利用各种工具搭建数据中心加工环境 分析

6、业务及用户需求建立各种分析及应用 做的事情 搭建 加工环境 的产品比较 ArcplanBusinessObjectsXIMSTR润乾报表 数据源 抽取 转换 加载 业务数据集市 企业数据仓库 IBMDB2UDBOracleEnterprise ETL 元数据 前端分析展现工具 查询工具 应用 InformaticaPowerCenterIBMDatastageWII存储过程 DB2CubeviewHyperionEssbase 11 公司数据中心优势 融入数据管控的思想 可保障数据质量数据是数据中心建设的核心 质量是数据中心建设的灵魂 国家局的战略伙伴 了解行业趋势 熟悉业务 可建设前瞻性项目

7、保持项目建设的鲜活性 与各公司相比案例最多 可借鉴的项目经验多在多个数据中心建设项目中获得启发 取长补短 不仅有自己的产品 可灵活利用非本公司产品灵活应用各种相关产品 12 系统目标 2 信息资源标准管理系统设计 统一信息资源管理是烟草数据中心系统建设的基础 在项目建设中 必须建立一套信息资源标准管理体系以及与此相适应的工作机制 对烟草所使用的代码和信息资源进行统一的管理 通过基础代码 指标体系 信息资源的统一 形成数据交换和数据应用的支撑 为系统集成 信息共享打好基础 13 信息资源标准管理体系 数据元标准库 编码标准库 数据交换标准库 数据元标准管理 信息编码标准管理 数据交换标准管理 建

8、设内容 2 信息资源标准管理系统设计 维护 查询 注册 审批 发布 数据元标准框架 关键指标元标准 维护 查询 申请 审核 发布 服务 管理维护 表示标准 传输标准 接口标准 报文格式标准 14 2 信息资源标准管理系统设计 建设作用 OLAP分析 企业数据模型多维数据模型 查询引擎 数据挖掘 RDBM 系统1 系统2 系统n 操作环境层 数据仓库层 业务层 信息资源标准 1 数据集成所必需的2 帮助最终用户理解数据仓库中的数据3 保证数据质量的关键4 方便维护 支持需求变化 数据仓库 15 系统功能 2 信息资源标准管理系统设计 16 建模思路 3 数据模型设计 事实表 划分数据中心范围 逻

9、辑模型设计 分析业务 数据仓库模型设计 数据集市模型设计 物理模型设计 维表事实表 建立主题的EIR 17 主题示例 3 数据模型设计 商业企业卷烟购 销 存分析 商业企业卷烟流向分析 商业卷烟零售价格分析 数据模型示例 卷烟销售主题 烟叶管理 卷烟销售 卷烟生产 18 4 数据模型设计 表 日期制丝牌号产品路线批次班次班组实际生产量 产品路线 制丝日生产执行 产品路线代码产品路线名称 日期 日期代码日期名称月份代码月份名称年份代码年份名称 班次表 班次代码班次名称 班组表 班组代码班组名称 制丝牌号 牌号代码牌号名称 制丝批次 制丝批次代码烟丝牌号日期代码 19 维表与事实表分布二 4 数据

10、模型设计 雪花模式 星型模式的维度进行进一步规范化时 星型模式就演进为雪花模式 产地表 年月日仓库代码烟叶代码烟叶年限购进数量 仓库表 仓库代码仓库名称所属单位上级单位仓库容量 烟叶编码表 烟叶代码烟叶名称等级代码产地代码 产地代码产地名称产地类型 等级代码等级名称烟叶类型英文表示 等级表 烟叶购进表 20 1 建立数据集成与交换平台的两级部署2 横向 实现地市各系统的信息共享与交换3 纵向 实现国家局省市各系统的数据交换与共享 数据集成与交换平台 省公司数据中心 分析应用 省 地市 其他应用 信息服务 数据集成与交换平台 销售 烟叶 应用 应用 应用 信息服务 数据集成与交换平台 销售 烟叶

11、 应用 应用 应用 数据交换 数据交换 市局 公司 A 市局 公司 B 两级数据交换平台 数据交换服务体系建设 21 4 数据采集设计 信息资源标准管理系统 数据元标准管理 数据编码标准管理 数据交换标准管理 数据交换平台 ETL 标准格式 业务数据库1 标准 数据 业务数据库n 标准 数据 数据仓库 规范数据 抽取 装载 校对 清洗 集成 转换 数据质量 清洗规则 业务分析 模型格式 转换 22 数据ETL建设内容 4 数据采集设计 数据采集的关键点 建立采集 上报 传输 接收监控机制 实现采集过程监管建立数据质检机制 提供数据准确性检查手段提供远程访问手段 实现人工远程调控系统运行提供远程

12、日志自动收集机制 定期分析系统运行提供软件自动更新机制 降低系统维护成本提供软件版本监控机制 确保软件远程统一部署提供基础代码和基础业务指标自动同步机制 确保数据采集正常运行 23 数据源分析 4 数据采集设计 1 0 2 0 3 0 4 0 5 0 调研业务系统 确定基础数据分布有哪些数据源 这些数据源是如何组织的 数据源互相之间的关系是什么 这些数据源是如何分布的 整理数据源结构 确定基础数据项包括哪些数据项 列举所有数据项每一个数据项的数据类型 精度从业务角度 确定每一个数据项的业务含义对于指标类型的数据项 确定其当前使用的计量单位 以及这种指标的标准计量单位 24 数据源分析 4 数据

13、采集设计 1 0 2 0 3 0 4 0 5 0 数据范围 制丝BOM数据卷包BOM数据烟叶BOM投料烟叶单耗制丝单耗制丝日生产执行卷包日生产执行 MES数据 成品烟销售数据 销售数据 制丝在线质检数据 制丝在线质检 卷包机台停机数据卷包机台剔除数据卷包质检在线数据 卷包数采 能源COD数据能源消耗数据蒸汽流量数据 能源数据 25 采集数据表结构设计 4 数据采集设计 2 0 3 0 4 0 5 0 1 0 建立采集表数据结构时 可综合考虑采集的数据量 效率要求 前置机性能 被采集数据结构的稳定性等因素 选择不同的采集表数据结构 表结构相同的平行采集还是进行整合后的汇总 合并采集固化的实体表还

14、是灵活的动态定义表 26 采集数据表结构设计 4 数据采集设计 2 0 3 0 4 0 5 0 1 0 建立采集表数据结构时 可综合考虑采集的数据量 效率要求 前置机性能 被采集数据结构的稳定性等因素 选择不同的采集表数据结构 表结构相同的平行采集还是进行整合后的汇总 合并采集固化的实体表还是灵活的动态定义表 27 采集数据表结构设计 4 数据采集设计 2 0 3 0 4 0 5 0 1 0 建立采集表数据结构时 可综合考虑采集的数据量 效率要求 前置机性能 被采集数据结构的稳定性等因素 选择不同的采集表数据结构 表结构相同的平行采集还是进行整合后的汇总 合并采集固化的实体表还是灵活的动态定义

15、表 28 数据采集机制设计 4 数据采集设计 3 0 2 0 4 0 5 0 1 0 联机采集 ETL 对于关系型数据源 并且允许直接访问的 采用以ETL为基础的联机采集机制 中间表方式对于关系型数据源 能够联机 但不允许直接访问的 可以考虑采用中间表方式采集 即业务系统将需要提供的数据拷贝到中间表中 然后从中间表采集数据 数据离线导入对于不能联机访问的 可以采用数据离线导入的方式 即业务系统将数据定时导出 比如excel格式 然后采集系统根据这些文件进行离线导入 人工审核填报对于原来没有计算机系统 只有纸介质数据的 可以采用人工填报 审核方式采集 29 数据增量处理设计 4 数据采集设计 4

16、 0 2 0 3 0 5 0 1 0 对于本身具有增量标识字段 比如时间戳 的数据源 直接使用其标识字段实现增量采集 对于没有直接的增量标识字段 但业务处理过程中能够判断到增量数据的 由业务系统将增量数据主动放到中间表里 然后采集系统从中间表中采集数据 为了确保数据的准确性 在上一种情况下 由业务系统将增量数据的主键 唯一判断条件 主动放到中间表里 然后采集根据中间表中提供的判断条件 去原表中提取数据 对于业务本身无法识别增量 但是允许进行修改的 则在其数据库中建立增量监控 通过这个监控器来标识哪些是增量数据 对于业务本身无法识别增量 但是数据量比较小 或者采集频率不高的 则先进行全部采集 然后通过数据比对的办法处理 在上述情况都不能满足的情况下 如果数据库提供技术手段对数据操作过程进行日志分析的 则通过联机日志分析获得增量数据 30 数据传输机制设计 4 数据采集设计 0 2 0 3 0 0 1 0 在数据采集到前置机后 需要建立数据传输机制 实现数据上报到数据中心 对这个数据传输机制的要求包括 可靠投递数据触发数据路由数据压缩数据识别性能管理与监控 31 OLAP维度设计 4 数据