《BI数据中心搭建流程》由会员分享，可在线阅读，更多相关《BI数据中心搭建流程（18页珍藏版）》请在金锄头文库上搜索。
1、- 数据中心搭建流程 . z.-目录一、前言3二、总体架构3自顶向下搭建3自底向上搭建3三、数据中心搭建具体流程架构角度31、数据源整合ETL32、ODS 或DWH 搭建33、多维分析模型建立34、数据展现平台搭建35、Protal 门户的搭建3四、数据中心搭建具体流程工程角度31、前期调研阶段32、需求阶段33、设计阶段34、开发阶段35、系统测试阶段36、用户测试阶段37、上线阶段38、结项阶段3五、分布搭建规划31、一期任务和目标32、二期任务和目标33、三期任务和目标3六、工程管理行动对照表31、启动过程组32、规划过程组33、执行过程组34、监控过程组35、收尾过程组3一、前言数据中
2、心的整体搭建主要涉及软环境和硬件架构设计两方面，软环境包含数据源、ETL过程、ODS、DWH和前端展现等。硬件架构为使用的效劳器、交换机等硬件承载设备。为了有效的利用数据中心，需要在软、硬两方面都要关注，不能出现“短板现象，使其中之一成为整个系统的瓶颈。硬件局部相对较为简单，确定设备数量、型号和性能指标，进展Infra设计，在系统开发完成之前到位，不可耽误系统测试阶段的进度。在此着重介绍软环境局部。二、总体架构在整个数据中心工程过程中，将会涉及上图中的各个环节，其中针对数据仓库的设计会有两种情况：自顶向下搭建这种搭建方法，是将用户目前所涉及的所有业务系统都统一的进展数据抽取并按照一定规则存放在
3、数据仓库中，搭建好这个整体的数据仓库之后所有的数据利用通过此数据仓库完成。优势：数据仓库一步成型，规划思路明确，数据存放有条理，对日后业务的开展可进展快速响应。劣势：整合所有数据源耗时长、人力、物力、财力投入大，对于完成整体数据仓库之后有利用不上的可能，造成资产浪费。自底向上搭建这种搭建方法，是针对业务分析主题而去逐步整合用户数据源的过程，当企业开展到*一阶段需要对*项业务主题进展分析时，可以通过此种方法整合所涉及的数据源，已达成数据分析利用的目的。优势：有针对性的整合数据源，目标明确，能够有效的防止资源浪费，缩小工程围，大大提高工程成功率并能充分利用，缩短工程周期，效果立竿见影。劣势：分布实
4、施使得总体工程周期延长，当遇到突发业务变化时，局部整合的数据源有可能不能支持业务的需要，应变能力有所缺乏。三、数据中心搭建具体流程架构角度对于数据中心的搭建流程，从架构角度出发会涉及数据源整合ETL、ODS 或DWH 搭建、多维分析模型建立、数据展现平台搭建、Protal 门户的搭建。不管是选择哪种方式进展数据中心搭建，都需遵从以下步骤。1、数据源整合ETL对于现有业务数据源进展整合。有可能当前分析主题只涉及一个数据源，即使如此也许进展ETL 过程。首先，搭建数据仓库或数据集市不应直接使用原有业务数据库，这样既不高效也不平安，数据格式还不统一。其次，数据源的数据质量不能保证，其中有可能存在重复
5、数据、脏数据等问题，在进展数据分析过程时，这些因素是必须要去掉的。所以，进展数据源的整合步骤时，不管是涉及一个还是多个数据源，操作原理是一样的，此过程为必要过程。2、ODS 或DWH 搭建ODSOperational Data Store操作型数据存储，是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求。DWHData warehouse数据仓库，是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。搭建此层级的目的很明确，为分析主题提供数据支持。有了DWH或ODS+DWH后，就可在此层级之上进展数据建模、展现等工
6、作。3、多维分析模型建立作为商业智能领域的核心，多维建模可以说是非常重要的一个环节。在这个环节中的维度设计、指标划分、度量等多方面的考虑，直接影响数据利用的效率和可实现的功能结果。在建立多维模型前，需要与最终用户进展需求分析，明确用户想要的，并明确能实现的是哪些。将需求工作做好，以免日后工程功能不达标。4、数据展现平台搭建在这个展现平台上包含了决策支持效劳层、信息发布效劳层、数据展现效劳层和联机分析效劳层等。对于商业智能的表现手段来说，可以是多种多样的。通过仪表板、平衡记分卡、图表、报表等多种手段进展展现； 使用上钻、下钻、钻透等方式来辅助使用者利用数据信息； 通过预设好的数据模型，用户可以自
7、主的进展自定义报表的制定，完成这一切只需要简单的拖、拉、拽操作，便于使用。5、Protal 门户的搭建作为整个数据利用的最后一层，担负的责任最为重大，直接将界面呈现给最终用户，一般情况下会使用B/S 构造，通过浏览器进展展现，如其中涉及了一些特殊控件时，可能会通过浏览器调用一个本地应用来支持完成。当然，通过Protal 对用户进展平安验证和权限控制也是另外一个很重要的原因，当不同的用户登录后，会验证在不同的用户组中，登录之后展现的界面也是有所差异的，这样就使数据利用系统有一个统一的展现界面，关心不同问题的用户等够有所划分的看到不同展现。四、数据中心搭建具体流程工程角度对于数据中心的搭建流程，从
8、工程角度出发会涉及前期调研阶段、需求分析阶段、设计阶段、开发阶段、系统测试阶段、用户测试阶段、上线阶段、结项阶段。1、前期调研阶段在此阶段中，需要大致明确用户需求，对用户环境进展调研，如让用户填写调查问卷等。如采用招标流程，需要仔细研究标书容，确定工作围，并能保证功能满足用户需求。此段时间一般不超过2 周工作日，细致的用户调研会安排在需求分析阶段。2、需求阶段在签订工程合同之后，正式进入工程阶段，需求分析阶段主要是明确用户的需求，将可实现与不可实现的列出，将需求分析落实在纸面上，并双方确认达成共识，在确认之后发生的变化，统一划分为需求变更处理。按照工程规定完成时间，此阶段占用时间根据对用户环境
9、、系统和需求的了解程度而制定，如对上述都不了解，则应放宽需求阶段时间，以确保工程最终能够达成用户需求，减少不必要的工程变更。3、设计阶段在设阶段会涉及模型设计、用户界面设计、数据模型验证和原型演示功能设计等。 模型设计中会包括元数据与CUBE 设计； 用户界面设计中包括Protal 局部设计、报表等其他功能设计； Coding 局部编写；将设计总结为完整的设计报告，提交工程小组。此阶段需要用户进展配合，进展阶段性成果物确认及设计方案确认。当出现与用户不一致时，及时进展讨论，以免有所偏差。4、开发阶段开发阶段将会按照前期的设计局部执行，设计Protal 开发主要为客户化需求制定、前端展现局部开发
10、、CUBE 局部开发和ETL 局部开发。由于工程属于BI 工程，所以编写代码局部较少，在Protal 局部及前端展现局部会涉及到一些.net 开发，其余属于所见即所得式开发。在开发阶段根本不需要用户进展配合，每周进展工程周报进度提交即可。5、系统测试阶段进入系统测试阶段后，开发局部已经根本完毕，由开发团队进展系统测试。开发团队中将安排专职负责系统测试人员，通过黑盒、白盒等模式进展测试，主要涉及功能实现、数据比对、性能测试、排查bug 等工作，并提交完整的测试报告。此局部如无重大开发失误，则耗时较短。6、用户测试阶段经过系统测试阶段后，最终用户可进展实际测试，查看否符合工程预期，此时在理论上应不
11、存在功能和设计上的缺陷，主要是实际数据加载后的性能测试。7、上线阶段通过两轮测试之后，系统正式进入上线阶段，此时主要为收集实际用户使用反应情况，记录系统正式上线后的性能等。对最终用户进展系统操作培训，提交相关使用文档。8、结项阶段举行工程庆祝会。提供完善的工程售后效劳。总结工程得失，如有后期工程，开场进展准备后期工程。五、分布搭建规划作为一个企业构筑数据中心是一项庞大而复杂的工程，想一蹴而就能够很快的呈现出一个完美的数据中心系统是不现实的，我们在这里为了能够化繁为简、逐步深入，将数据中心工程分成了三期工程来实现，这样做的好处是能够快速的体验的数据中心的价值，将工程时间划分为段落，缩短单个工程时
12、间和围，便于工程的整体把控和开展。对于用户能够减少首次投入，减小工程风险，在工程的实施过程中不断的完善自己的想法，整理出一套适合自身企业的度量标准。1、一期任务和目标一期的主要任务如下列图： 规划分解 一期 平台搭建期 数据集成 关键业务系统导入 供给、库存、销售统一视图 统一维度和指标体系根本指标建立 制式报表 常用报表 专用业务分析报表综合报表常用数据图表一期目标在于能够搭建出一个企业数据中心的根底平台，将此平台搭建好之后，做到关键数据源整合，对目前企业最重要的痛点进展改造，有了完善、可信、准确的数据之后就可将企业日常管理中最熟悉、最常用的管理方法、手段，通过我们的数据中心展示出来，让用户
13、开场对数据中心概念有所直观了解逐步去深入挖掘数据中心的价值。2、二期任务和目标二期的主要任务如下列图：深入应用期 其他系统导入 外部系统数据 其他公司经营系统数据 供给、物流、销售、效劳、库存、财务统一视图 优化完善维度和指标体系建立局性KPI 指标体系 部门间信息互通 信息订阅分发 常用业务报表 专用业务分析报表综合分析报告供给、物流、销售、仓储相关指标监控仪表板二期目标在于深入利用数据中心的强大功能，将企业中设计的多个数据源进展导入，如果有外部数据也可一起导入。当数据的来源越多，数据中心所能提供能综合分析能力越强，就像一台可自我学习的机器一般，将企业的整体信息融汇在一处。通过一期工程的摸索
14、和使用后，对关键指标的建立、数据的展现方式、综合分析的能力等都会提出更高的要求，在二期工程中将会完善这些要求。3、三期任务和目标三期的主要任务如下列图：普及提高期相关外部数据、外结合的综合分析数据视图 部门化KPI 指标 KPI 指标分解 建立分析模型 用户自定义分析 自行报表发布 文档交互 数据驱动分发 KPI 驱动的报表分析报告 状态分析类报告 预测、评估类报告 考核类分析报告 分析监控 绩效考核 指标监控 预警、提示 工作流 业务协同驱动的工作流 监控预警数据驱动的工作流 三期作为工程划分的最后一个阶段，当然也许还会有后期工程，因为数据中心的搭建本身就是一个不断完善的过程。而这里的第三期工程主要就是进展分析、利用、综合的加强改造，通过前两期的设计和使用，用户已经对数据中心和BI 理念有了充足的认识，不管是数据整合层面还是指标建立或是展现方式等等，都有了更加深入的理解和自身的感悟。在三期工程中目标就是要将这个数据中心能够更加适应企业的特点、更加全面的效劳企业，使其能够成为企业管理中不可或缺的一局部。六、工程管理行动对照表1、启动过程组
