BI数据中心搭建流程

《BI数据中心搭建流程》由会员分享，可在线阅读，更多相关《BI数据中心搭建流程（21页珍藏版）》请在金锄头文库上搜索。

1、数据中心搭建流程目录一、前言 3二、总体架构 4自顶向下搭建 5自底向上搭建 6三、数据中心搭建具体流程（架构角度） 71、 数据源整合 ETL72、ODS或 DWH 搭建83、多维分析模型建立 84、数据展现平台搭建 95、Protal 门户的搭建 9四、数据中心搭建具体流程（项目角度） 101、前期调研阶段 102、需求阶段 103、设计阶段 114、开发阶段 115、系统测试阶段 116、用户测试阶段 127、上线阶段 128、结项阶段 12五、分布搭建规划 121、一期任务和目标 132、二期任务和目标 133、三期任务和目标 14六、项目管理行动对照表 161、启动过程组 162、规

2、划过程组 173、执行过程组 184、监控过程组 195、收尾过程组 21一、前言数据中心的整体搭建主要涉及软环境和硬件架构设计两方面，软环境包含 数据源、ETL过程、ODS DWH和前端展现等。硬件架构为使用的服务器、交换 机等硬件承载设备。为了有效的利用数据中心，需要在软、硬两方面都要关注，不能出现“短板 现象”，使其中之一成为整个系统的瓶颈。硬件部分相对较为简单，确定设备数量、型号和性能指标，进行 Infra 设 计，在系统开发完成之前到位，不可耽误系统测试阶段的进度。在此着重介绍 软环境部分。、总体架构A成门户軌业务救据仓廉数齬接口、抽数餌霞现嫌農崑分册JK碾内容管理1 1业务趙镰甘*

3、ma飪皿刖务”单酬在整个数据中心项目过程中，将会涉及上图中的各个环节,其中针对数据仓库的设计会有两种情况:自顶向下搭建企业级数据仓军这种搭建方法，是将用户目前所涉及的所有业务系统都统一的进行数据 抽取并按照一定规则存放在数据仓库中，搭建好这个整体的数据仓库之后所 有的数据利用通过此数据仓库完成。优势：数据仓库一步成型，规划思路明确，数据存放有条理，对日后业务的 开展可进行快速响应。劣势：整合所有数据源耗时长、人力、物力、财力投入大，对于完成整体数 据仓库之后有利用不上的可能，造成资产浪费。自底向上搭建操作型敷据（全弼）企业数仓库EDB这种搭建方法，是针对业务分析主题而去逐步整合用户数据源的过程

4、，当企业发展到某一阶段需要对某项业务主题进行分析时，可以通过此种方法整合所涉 及的数据源，已达成数据分析利用的目的。优势：有针对性的整合数据源，目标明确，能够有效的避免资源浪费，缩小项目 范围，大大提高项目成功率并能充分利用，缩短项目周期，效果立竿见影。劣势：分布实施使得总体项目周期延长，当遇到突发业务变化时，局部整合的数 据源有可能不能支持业务的需要，应变能力有所不足。三、数据中心搭建具体流程（架构角度）对于数据中心的搭建流程，从架构角度出发会涉及数据源整合ETL ODS或DWH搭建、多维分析模型建立、数据展现平台搭建、Protal门户的搭建。不论是选择哪种方式进行数据中心搭建，都需遵从以下

5、步骤。1、数据源整合ETL氐疋忧S1对于现有业务数据源进行整合。有可能当前分析主题只涉及一个数据源，即使如此也许进行ETL过程。首先，搭建数据仓库或数据集市不应直接使用原有业务数据库，这样既不 高效也不安全，数据格式还不统一。其次，数据源的数据质量不能保证，其中 有可能存在重复数据、脏数据等问题，在进行数据分析过程时，这些因素是必 须要去掉的。所以，进行数据源的整合步骤时，不论是涉及一个还是多个数据源，操作原 理是一样的，此过程为必要过程。2、ODS或DWH搭建数据仓库业务建数据嫌舍业务数据库ODS( Operatio nal Data Store)操作型数据存储，是一个面向主题的、集成的、可

6、变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的 全体信息的需求。DW( Data warehouse )数据仓库，是在企业管理和决策中面向主题的、集成的、 与时间相关的、不可修改的数据集合。搭建此层级的目的很明确，为分析主题提供数据支持。有了DW或ODS+DWH后，就可在此层级之上进行数据建模、展现等工作。3、多维分析模型建立务维主题数据集市 L a. 和- ryii作为商业智能领域的核心，多维建模可以说是非常重要的一个环节。在这个 环节中的维度设计、指标划分、度量等多方面的考虑，直接影响数据利用的效率 和可实现的功能结果。在建立多维模型前，需要与最终用户进行需求分析，明

7、确用户想要的，并明 确能实现的是哪些。将需求工作做好，以免日后项目功能不达标。4、数据展现平台搭建协同展现平台在这个展现平台上包含了决策支持服务层、信息发布服务层、数据展现服务 层和联机分析服务层等。对于商业智能的表现手段来说，可以是多种多样的。 通过仪表板、平衡记分卡、图表、报表等多种手段进行展现；使用上钻、下钻、钻透等方式来辅助使用者利用数据信息；通过预设好的数据模型，用户可以自主的进行自定义报表的制定，完成这一切只需要简单的拖、拉、拽操作，便于使用。5、Protal门户的搭建Protal作为整个数据利用的最后一层，担负的责任最为重大，直接将界面呈现给最终用户，一般情况下会使用 B/S结构

8、，通过浏览器进行展现，如其中涉及了一些特殊 控件时，可能会通过浏览器调用一个本地应用来支持完成。当然，通过Protal对用户进行安全验证和权限控制也是另外一个很重要的原 因，当不同的用户登录后，会验证在不同的用户组中，登录之后展现的界面也是 有所差异的，这样就使数据利用系统有一个统一的展现界面，关心不同问题的用 户等够有所划分的看到不同展现。四、数据中心搭建具体流程（项目角度）段s需求阶设计阶开发轿泵删、用芦则 上绷 结项阶 ”段/ 段/段:试阶段/试阶段 m裁合冃签订前合同曼订后对于数据中心的搭建流程，从项目角度出发会涉及前期调研阶段、需求分析阶段、 设计阶段、开发阶段、系统测试阶段、用户测

9、试阶段、上线阶段、结项阶段。1、前期调研阶段在此阶段中，需要大致明确用户需求，对用户环境进行调研，如让用户填写 调查问卷等。如采用招标流程，需要仔细研究标书内容，确定工作范围，并能保 证功能满足用户需求。此段时间一般不超过2周工作日，细致的用户调研会安排在需求分析阶段。2、需求阶段在签订项目合同之后，正式进入项目阶段，需求分析阶段主要是明确用户的 需求，将可实现与不可实现的列出，将需求分析落实在纸面上，并双方确认达成 共识，在确认之后发生的变化，统一划分为需求变更处理。按照项目规定完成时间，此阶段占用时间根据对用户环境、系统和需求的了 解程度而制定，如对上述都不了解，则应放宽需求阶段时间，以确

10、保项目最终能 够达成用户需求，减少不必要的项目变更。3、设计阶段在设阶段会涉及模型设计、用户界面设计、数据模型验证和原型演示功能设 计等。模型设计中会包括元数据与 CUBE设计；用户界面设计中包括 Protal 部分设计、报表等其他功能设计； Coding 部分编写；将设计总结为完整的设计报告，提交项目小组。此阶段需要用户进行配合，进行阶段性成果物确认及设计方案确认。当出现 与用户不一致时，及时进行讨论，以免有所偏差。4、开发阶段开发阶段将会按照前期的设计部分执行，设计Protal 开发（主要为客户化需求制定）、前端展现部分开发、CUBE部分开发和ETL部分开发。由于项目属于 BI 项目，所以

11、编写代码部分较少，在Protal 部分及前端展现部分会涉及到一些 .net 开发，其余属于所见即所得式开发。在开发阶段基本不需要用户进行配合，每周进行项目周报进度提交即可。5、系统测试阶段进入系统测试阶段后，开发部分已经基本结束，由开发团队进行系统测试。 开发团队中将安排专职负责系统测试人员，通过黑盒、白盒等模式进行测试， 主要涉及功能实现、数据比对、性能测试、排查bug 等工作，并提交完整的测试报告。此部分如无重大开发失误，则耗时较短。6、用户测试阶段经过系统测试阶段后，最终用户可进行实际测试，查看否符合项目预期，此 时在理论上应不存在功能和设计上的缺陷，主要是实际数据加载后的性能测试。7、

12、上线阶段通过两轮测试之后，系统正式进入上线阶段，此时主要为收集实际用户使用 反馈情况，记录系统正式上线后的性能等。对最终用户进行系统操作培训，提交相关使用文档。8、结项阶段举行项目庆祝会。提供完善的项目售后服务。总结项目得失，如有后期工程，开始进行准备后期项目。五、分布搭建规划作为一个企业构筑数据中心是一项庞大而复杂的项目，想一蹴而就能够很快 的呈现出一个完美的数据中心系统是不现实的，我们在这里为了能够化繁为简、 逐步深入，将数据中心项目分成了三期工程来实现，这样做的好处是能够快速的 体验的数据中心的价值，将项目时间划分为段落，缩短单个项目时间和范围，便 于项目的整体把控和开展。对于用户能够减

13、少首次投入，减小项目风险，在项目的实施过程中不断的完 善自己的想法，整理出一套适合自身企业的度量标准。1、一期任务和目标一期的主要任务如下图：规划分解一期平台搭建期数据集成关键业务系统导入数据整合供应、库存、销售统一视图 统一维度和指标体系KPI基本指标建立信息协同统计报表制式报表常用报表专用业务分析报表分析报告综合报表分析监控常用数据图表工作流一期目标在于能够搭建出一个企业数据中心的基础平台，将此平台搭建好之 后，做到关键数据源整合，对目前企业最重要的痛点进行改造，有了完善、可信、 准确的数据之后就可将企业日常管理中最熟悉、最常用的管理方法、手段，通过 我们的数据中心展示出来，让用户开始对数

14、据中心概念有所直观了解逐步去深入 挖掘数据中心的价值。2、二期任务和目标二期的主要任务如下图：规划分解二期深入应用期数据集成其他系统导入外部系统数据其他公司经营系统数据数据整合供应、物流、销售、服务、库存、财务统一视 图优化完善维度和指标体系KPI建立局性KPI指标体系信息协同部门间信息互通 信息订阅分发统计报表常用业务报表 专用业务分析报表分析报告综合分析报告分析监控供应、物流、销售、仓储相关指标监控仪表板工作流二期目标在于深入利用数据中心的强大功能，将企业中设计的多个数据源进 行导入，如果有外部数据也可一起导入。当数据的来源越多，数据中心所能提供 能综合分析能力越强，就像一台可自我学习的机器一般，将企业的整体信息融汇 在一处。通过一期项目的摸索和使用后，对关键指标的建立、数据的展现方式、 综合分析的能力等都会提出更高的要求，在二期项目中将会完善这些要求。3、三期任务和目标三期的主要任务如下图：规划分解三期普及提咼期数据集成相关外部数据数据整合内、外结合的综合分析数据视图KPI部门化KPI指标KPI指标分