《BI方案介绍参考模板》由会员分享，可在线阅读，更多相关《BI方案介绍参考模板（28页珍藏版）》请在金锄头文库上搜索。
1、商业智能（BI）方案目 录1. 企业异构数据源42. ETL数据抽取转化和加载52.1 数据抽取、转换和加载62.2 统一调度72.3 监控82.4 ETL工具OWB83. 数据仓库93.1 操作型数据103.2数据集市103.3 联机在线分析OLAP113.4 数据挖掘114. 前端展现124.1 多维分析工具Powerplay134.1.3 PowerPlay 应用开发过程174.2 企业报表 ReportNet184.3 KPI企业关键指标274.4 报表预警与分发284.5 即席查询28商业智能(BI, Business Intelligence)是对商业信息的搜集、管理和分析的过程，
2、目的是使企业的各级决策者获得知识或洞察能力，促使他们做出对企业更有利的决策。商业智能一般由数据仓库、数据分析、数据挖掘、在线分析、数据备份和恢复等部分组成。其基本体系结构包括数据仓库、多维分析和数据挖掘等三个部分。其中数据仓库用于抽取、整合、分布、存储有用信息；多维数据分析可全方位了解现状；数据挖掘则是发现问题、找出规律、预测将来，达到真正的智能效果。商业智能的过程：从不同的数据源收集的数据中提取出有用的数据，对数据进行清理以保证数据的准确性，将数据经过转换、重构后存入数据仓库或数据集市，然后寻找合适的查询和分析工具，数据挖掘工具，OLAP工具对信息处理，最后将知识呈现于用户面前，转变为管理、
3、决策。商业智能是从传统的业务过程扩展到对业务数据的联机分析、并从中得到各种面向主题的统计信息和经过计算的结论的应用系统，其处理模式称之为联机分析处理 (OLAP)，它的核心是数据仓库技术。其常见的体系结构如下图所示：BI系统架构商业智能已经成为今天商业环境中一个必要因素，企业需要权衡今天商业智能技术提供的能力来保持和提高竞争性和可赢利性。 先进的BI（商业智能）系统解决方案通过开放、易扩展的平台为企业提供管理信息和运营信息的快速获取、集成和智能化分析手段，可以广泛地应用于金融、电信、税务、保险等行业。1. 企业异构数据源BI系统的数据源一般为企业的面向事务处理（OLTP）的系统（包括日常业务系
4、统、资金财务系统等其他系统，以及其他外部数据），这里对于数据源不做任何限定，数据可以来源于任何操作系统平台；数据也可以来源于任何数据存储方式（如Informix数据库、Oracle数据库、文本文件等）。这些数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。这样一个由传统系统、不兼容数据源、数据库与应用所共同构成的复杂数据集合，各个部分之间不能彼此交流。从技术层面考虑，OLTP系统的应用特点是大量用户产生大量数据的事务，每一个事务占用的资源和运行时间都很少。而数据仓库系统经常需要对庞大的历史信息进行查询和分析，每个事务都涉及大量的数据，事务的数量相对OLTP业务要小得多。另外
5、数据库中的数据通常实时更新，数据根据需要及时发生变化，但数据仓库中的数据相对稳定，一般只有定期的加载和更新。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。比如永安保险的保险业务系统和财务系统，保险业务系统是基于IBM AIX操作系统上的informix数据库， 而财务系统得数据库则是windows操作系统的Oracle数据库。两个系统都有凭证信息，在我们系统实施之前，只有业务系统面向财务系统流转的单证信息，而对于财务系统单证流转状况在业务信息里是没有反映的。两者信息沟
6、通不畅，对于相关数据的查询和检索就比较困难。2. ETL数据抽取转化和加载 企业目前运行的应用系统是企业花费了很大精力和财力构建的、不可替代的系统，特别是系统的数据。而新建的商务智能系统目的就是要通过数据分析来辅助自己决策，恰恰这些数据的来源、格式不一样，导致了系统实施、数据整合的难度。面向企业的异构数据源，解决数据一致性与集成化问题，使您能够从您所有传统环境与平台中采集数据，并利用一个单一解决方案对其进行高效的转换。这个解决方案就是ETL。通常，企业的数据源分布在各个子系统和节点中，利用ETL将各业务系统上的数据，通过自动化或手动控制传到服务器上，进行抽取、清洗和转化处理，然后加载到数据仓库
7、。因为现有业务数据源多，保证数据的一致性，真正理解数据的业务含义，跨越多平台、多系统整合数据，最大可能提高数据的质量，迎合业务需求不断变化的特性，是ETL技术处理的关键。 简单的讲，ETL就是抽取、转换和装载，同时提供数据质量的管理，并且贯穿整个商务智能解决方案的全过程，完成整个系统的数据处理与调度。在这里，我主要从实际的角度上阐述，如何使用ETL，包括数据抽取、数据传输、数据转换与清洗、数据加载、调度监控以及元数据管理。具体应用如下所述。2.1 数据抽取、转换和加载 抽取主要是针对各个业务系统及不同网点的分散数据，充分理解数据定义后，规划 需要的数据源及数据定义，制定可操作的数据源，制定增量
8、抽取的定义。 确定如何抽取或查询源数据并非易事，因为它往往存储在多个地方可能是一个RDMS或其他类型文件，连接时可以通过标准的连接工具比如ODBC等。从设计的角度讲最好忽视一些连接问题，把主要精力集中在源数据如何映射目标数据上。这里提醒一点在数据抽取分析时需要对业务深刻理解，不能简单的了解。比如我想取一个数据，在源系统中多个表都有，而你选择了一个。在当时不会有什么问题，但随着后续工作的开展和分析就会出现意想不到的结果。在永安系统中，数据抽取的数据源是财产险保险业务系统、财务系统等。在实施中，它的步骤如下： a. 建立系统的连接； b. 读取数据提取规则参数表，确定提取的源表； c. 根据源表、
9、提取规则、最后一次提取的时间戳或流水号生成提取动态SQL语句； d. 查询出的数据根据业务规则生成相应的数据； 转换主要是针对数据仓库建立的模型，通过一系列的转换来实现将数据从业务模型到分析模型，通过内建的库函数、自定义脚本或其他的扩展方式，实现了各种复杂的转换，并且支持调试环境，清楚的监控数据转换的状态。数据转换是真正将源数据变为目标数据的关键环节，它包括数据格式转，换数据类型转换、数据汇总计算、数据拼接等等。但这些工作可以在不同的过程中处理视具体情况而定，比如可以在数据抽取时转换，可以在数据加载时转换。 清洗主要是针对系统的各个环节可能出现的数据二义性、重复、不完整、违反业务规则等问题，允
10、许通过试抽取，将有问题的纪录先剔除出来，根据实际情况调整相应的清洗操作。 异常数据是在清洗过程中发现不合乎规则的记录。在实施中，它的步骤如下： a. 根据对应数据的清洗规则对数据文件进行行扫描，异常数据未知参数、无尾汇总记录生成异常数据记录，合法数据生成合法数据记录； b. 在进行数据的行扫描时，同时调用转换、汇总模块，生成汇总数据； 直连数据库的方式来进行数据装载，可以充分体现高效性。数据加载有两个部分，一个是把合法数据文件装入回滚表中，该装入过程没有汇总部分；另一个是把初次汇总表加载到临时汇总表，根据不同类型的数据，可能会有二次汇总。当到临时汇总表的数据完毕以后，再把临时中间表的数据装入到
11、中间表中。在实施中，它的步骤如下： a. 读取汇总数据、无需进行汇总的源数据，加载到相应数据表中； b. 读取需进行实时汇总的数据，对数据库进行更新操作； 2.2 统一调度 统一调度是ETL中较为重要的功能。它不但可以将源数据加载到数据仓库中，而且还可以更新数据集市，更重要的是还可以更新OLAP Server和挖掘模型数据。它在整个商务智能方案中扮演着总指挥、总调度的角色。过程如下： 在永安保险项目中，利用Oracle的JOB功能以自动方式对ETL进行调度。由ORACLE每天定时或准实时启动后台程序，自动完成数据仓库ETL处理流程。 分成二层实现整个ETL处理流程的： u 首先通过ORACLE
12、的JOB队列方式实现任务分配、并行处理、得到任务清单等工作，实现定时处理和准实时处理的过程； u 在JOB队列中执行数据处理的JOB工作时，通过向后台的WORKFLOW 服务器提交相应目标的数据处理流程； 在WORKFLOW服务器运行数据处理过程中目标清洗、转换、汇总过程是通过调用OWB生成的PACKAGE实现的。2.3 监控 主要是监控ETL的整个过程，通过扫描ETL各模块的日志中的关键值，如记录时间等信息与当前的状态作比较，如果超过某一个值，则认为该模块运行可能出现问提，应告警。 在实施中，它的步骤如下： a. 初始化每一个模块的正常规则或异常规则 b. 周期性扫描每一个模块的日志文件，提
13、取最后记录日志的关键信息跟初始化规则对比，如果异常，则告警；否则继续监控。 在永安保险系统中我们采用ETL监控表记录日志信息，并通过ReportNet报表进行展示。2.4 ETL工具OWBOracle Warehouse Builder(以下简称OWB)是Oracle公司的一个用于帮助企业构建数据仓库的集成工具。OWB将从前各自分离的产品提供的功能集成到一个公共的环境。这些功能包括：数据模型构造和设计、数据提取、移动和装载(ETT)、元数据管理、分析工具的整合以及数据仓库的管理。OWB提供了一个框架将数据仓库的各个部分包括关系数据库服务器、多维数据库服务器和前端分析工具相结合，从而产生了一个紧
14、密集成、全面的数据仓库和商业智能(BIS)解决方案。OWB减少了企业建设数据仓库的时间、成本和工作量。开发项目小组成员现在可以在一个单一的环境来实施和管理复杂的数据仓库系统。OWB具有如下特点：u 全面的数据仓库功能与其它工具不同，OWB更适合具有智能的数据仓库的特殊要求。从它的设计和生成功能到从多个来源提取数据和向目标数据仓库装载数据，OWB 的每一个方面都降低了企业数据仓库项目的复杂性。u 强调数据仓库的管理目前市场上的很多数据仓库工具产品往往只强调数据仓库的生成过程，而忽略了对数据仓库进行管理的需要。OWB在提供强大的数据仓库生成功能的同时，更强调对企业数据仓库的管理。需要指出的是，OW
15、B的管理功能可以被集成到Oracle Enterprise Manager(OEM)中，从而为提供一个无缝的企业管理工具。u 支持复杂的提取、转换和传输(ETT) 过程OWB通过Oracle提供的透明网关技术，支持从Oracle数据库、ODBC数据源和大型主机系统中快速提取和有效装载数据。OWB还支持多种类型的数据转换方法，并能对转换过程进行记录(log)，从而不断强化定义的商业规则，保证被转换和装载数据的完整性。u 利用数据库服务器提高性能Oracle一直不断地改进和提高其业界领先的数据库产品。Oracle 在与数据仓库相关的一些主要方面提供了新的功能。OWB充分利用了Oracle 的新功能：汇总管理、数据分区和索引能力。在永安保险项目中，利用了OWB提供了基本构造设计和抽取转换功能，在此基础上针对永安的特定的业务规则我们用PL/SQL开发了对应的程序包，使用OWB提供的基本管理监控抽取过程并通过前端展示工具ReportNet来展现抽取日志信息，为管理员提供方便的管理信息，采用OWB工作流来合理安排抽取顺序。3. 数据仓库数据仓库是一个支持管理决策的数据集合。数据是面向主题的、集成的、不易丢失的,并且时间作为变量。数据仓库是所有操作环境和外部数据源的快照集合。它并不需要非常精确，因为它必须在特定的时间基础上从操作环境
