《bigdata-guide企业架构师大数据指南》由会员分享，可在线阅读，更多相关《bigdata-guide企业架构师大数据指南（51页珍藏版）》请在金锄头文库上搜索。
1、 企业架构师大数据指南 参考架构概述 ORACLE 企业架构白皮书企业架构白皮书 | 2016 年年 3 月月 ORACLE 企业架构白皮书 企业架构师大数据指南 免责声明 以下内容旨在概述产品的总体发展方向。该内容仅供参考，不可纳入任何合同。其内容不构成提供任何材料、代码或功能的承诺，并且不应该作为制定购买决策的依据。此处所述有关 Oracle 产品的任何特性或功能的开发、发布以及相应的日程安排均由 Oracle 自行决定。 目录 概要概要 1 其他架构资料 3 基本概念基本概念 4 什么是大数据？ 4 有关大数据的关键问题 5 大数据有何不同寻常之处？ 7 采用企业架构方法采用企业架构方法
2、 11 大数据参考架构概述大数据参考架构概述 14 传统信息架构功能 14 增加大数据功能 14 统一的参考架构 16 企业信息管理功能 17 大数据架构功能 18 Oracle 大数据云服务大数据云服务 23 Oracle 大数据架构的亮点大数据架构的亮点 24 Big Data SQL 24 数据集成 26 Oracle Big Data Connectors 27 Oracle Big Data Preparation 28 Oracle Stream Explorer 29 安全架构 30 业务智能、信息发现和分析之间的对比 31 数据可视化 33 Spatial and Graph
3、分析 35 将架构扩展到物联网将架构扩展到物联网 36 三个用例的大数据架构模式三个用例的大数据架构模式 38 用例 1：零售业 Web 日志分析 38 用例 2：金融服务业实时风险检测 39 用例 3：使用车载信息服务确定驾驶员的可保性 41 大数据最佳实践大数据最佳实践 43 总结总结 45 ORACLE 企业架构白皮书 企业架构师大数据指南 1 | ORACLE 企业架构白皮书 企业架构师大数据指南 概要 当今，大数据通常定义为种类更多、流入的数据量更高、速度更快的数据。数十亿传输数据的智能传感器和设备的部署（常称为物联网）以及其他半结构化和结构化数据源，这些正在驱动产生更多、更快速、更
4、复杂的数据。对于这些数据，必须持续地进行收集、分析，然后才能用于指导企业采取适当的措施，从而为企业提供价值。 大多数企业都敏锐地意识到，当今发生的几乎每项数字化转型皆以大数据为核心。比如，实现更佳客户体验的应用程序通常在智能设备的支持下，能够对客户行为做出即时响应。市场上销售的智能产品可以捕获整个环境情境。业务分析师和数据科学家正在开发大量新的分析技术和模型以发现这些数据提供的价值。大数据解决方案正在帮助企业提高品牌忠诚度、管理个性化价值链、揭示真相、预测产品和消费趋势、展现产品可靠性，以及发现真正的责任归属。 IT 组织正在急切通过内部解决方案和基于公有云的解决方案部署大数据处理、存储和集成
5、技术。基于云的大数据解决方案托管在基础架构即服务 (IaaS) 上，作为平台即服务 (PaaS) 来交付，或者以软件即服务 (SaaS) 的形式作为大数据应用程序（和数据服务）来交付。每个解决方案必须满足它们所支持的业务智能、分析和运营系统及流程的关键服务级别协议 (SLA) 要求。这些解决方案必须能够大规模执行，必须弹性、安全并且是可管控的。此外，它们还必须经济高效，能够将数据复制和传输降至最低。如今已经可以一致地遵循这些标准提供当代架构系统。Oracle 已为所有这些部署模型创建了参考架构。 选择 Oracle 作为您实现大数据功能的基础具有充分的理由。Oracle 自 35 年前成立以来
6、已对信息管理的几乎每一方面进行了大量投入 从软件、硬件，到内部部署解决方案和基于云的解决方案的创新集成。Oracle 一系列的数据管理解决方案不断解决最棘手的技术和业务问题，在具有最高的可靠性、可用性和可伸缩性的数据平台上提供最高的性能。Oracle 继续提供各种辅助数据管理功能，包括数据捕获、转换、移动、质量、安全和管理，同时提供强健的数据发现、访问、分析和可视化软件。Oracle 独特的价值在于它长期以来坚持对最广泛的企业级信息技术体系进行集成设计以实现协同工作，这不仅能够简化复杂的 IT 环境并降低 TCO，而且当出现新的领域，比如大数据时，可以最大程度降低风险。 2 | ORACLE
7、企业架构白皮书 企业架构师大数据指南 Oracle 认为大数据不是一个孤岛。它只是集成式企业级信息管理能力的一个最新的方面。频繁出现的开源贡献、不断发展的基于云的产品，以及不断涌现的分析战略，都在推动大数据向前发展，因而从其本身来看，大数据可能很容易增加企业 IT 环境的复杂性。在您通往安全和成功的未来环境的过程中，Oracle 为您提供同类最佳的产品、支持和服务，可为您的企业架构打下坚实的基础。 为满足业务需求并提供价值，架构师必须评估如何在整个企业信息架构中高效地管理这些海量、高速、多样化的新数据。大数据目标与您的其余信息管理目标毫无二致 只不过如今，经济与技术已足够成熟，能够处理和分析这
8、些数据。 本文将介绍大数据生态系统以及企业架构师可能面临的架构选择。本文将定义主要术语和功能，展示参考架构，并描述主要 Oracle 产品和开源解决方案。还将提供一些观点和准则，以及它们在实际用例中的应用。文中提供的方法和指导是从数百个客户项目获得的经验总结，突出了客户在其架构规划和实施过程中面临的决策。 Oracle 架构师为众多行业和政府机构服务，他们依据企业架构最佳实践制定了标准化的方法。这些对于熟悉 TOGAF 和其他最佳架构实践的架构师而言应该很熟悉。Oracle 架构开发流程 (OADP) 和 Oracle 企业架构框架 (OEAF) 白皮书清楚地描述了 Oracle 的企业架构方
9、法和框架。 3 | ORACLE 企业架构白皮书 企业架构师大数据指南 其他架构资料 Oracle 还提供了其他文档，可作为本白皮书的补充资料。下面介绍了其中几个文档： Oracle IT 战略战略 (ITSO) 由一系列从业者指南和参考架构组成，旨在帮助企业制定以架构为中心的方法来实现企业级 IT 计划。ITSO 通过阐明普遍采用的架构概念、原则、准则、标准和模式来展示成功的技术战略和解决方案设计。 大数据和分析参考架构白皮书（39 页）提供了逻辑架构以及 Oracle 产品对应关系。信息管理参考架构（200 页）论述了 Oracle 参考架构的信息管理方面，描述了有助于设计参考架构的重要概
10、念、功能、准则、技术和一些架构视图，包括概念视图、逻辑视图、产品对应关系视图和部署视图。ORA 安全性 白皮书（140 页）和 ORA 管理和监视 白皮书（72 页）论述了信息管理的安全性和管理方面。这个 ITSO 库中的其他相关文档包括云计算、业务分析、业务流程管理或面向服务的架构。 信息管理和大数据参考架构（30 页）白皮书全面介绍了与供应商无关的大数据概念和逻辑架构。此白皮书将帮助您了解构建大数据功能时出现的一些规划问题。 Oracle 企业架构网站上公布的行业白皮书介绍了许多公司和企业实施大数据的业务环境示例。涉及的行业包括农业综合经营、通信服务提供商、教育、金融服务、医疗付款、医疗保
11、健提供商、保险、物流和运输、制造、媒体和娱乐、制药和生命科学、零售以及公用事业。 最后，从 Oracle 技术网 (OTN) 和 O 可以获得大量的大数据资料。 4 | ORACLE 企业架构白皮书 企业架构师大数据指南 基本概念 什么是大数据？ 过去，一些大规模的互联网搜索、广告和社交网络公司率先开展了大数据硬件和软件创新。例如，Google 对每天 1.5 万亿次页面浏览量分析点击数据、链接数据和内容 ()，几毫秒内即可提供搜索结果和个性化广告！这是计算机科学工程的一项了不起的成就。 随着 Google、Yahoo、Oracle 和其他企业将自身的技术贡献给开源社区，大数据开始更广泛地惠及
12、商业和公共部门，促使它们迎接大数据挑战，让大数据为自身服务。和先驱者不一样的是，广阔的市场看待大数据的角度略有不同。他们看到的不是独立解释的数据，而是通过将新数据添加到其现有运营或分析系统中实现的价值。 因此，大数据描述了一个整体信息管理战略，除了传统数据外，其中还包括并集成了许多新型的数据和数据管理。虽然许多用于处理和分析这些数据类型的技术早已存在，但是一直以来，促使这些技术得到更广泛应用的却是数据激增和成本更低的计算模型。此外，大数据还让两个基本的存储和处理技术变得流行起来：Apache Hadoop 和 NoSQL 数据库。 人们也用四个“V”来定义大数据：数据量 (Volume)、速度
13、 (Velocity)、多样性 (Variety) 和价值 (Value)。这些“V”成为了确定是否应将大数据添加到您的信息架构中的一种合理的检验方法。 数据量数据量 (Volume)。数据的数量。虽然数据量意味着更多 的数据，但是真正特别的是这种数据的细粒度特质。大数据需要处理大量低密度数据，即价值未知的数据，例如 Twitter 数据信源、网页点击量、网络流量、支持传感器的设备以光速捕获的数据等等。大数据的任务就是将低密度数据转换为高密度数据，即有价值的数据。对于一些公司而言，数据量可能是几十 TB，而对于另一些公司，可能是几百 PB。 速度速度 (Velocity)。接收数据的速度很快，
14、处理数据的速度可能也很快。速度最快的数据通常直接流入内存，而不是写入磁盘。一些物联网 (IoT) 应用需要对健康与安全后果进行实时评估和处理。其他支持互联网的智能产品实时或近乎实时地运行。例如，消费类电子商务应用力图结合运用移动设备位置和个人喜好来推出时效性优惠。从运营角度来看，移动应用体验具有庞大的用户群，其网络流量增加，并且用户期望获得即时响应。 多样性多样性 (Variety)。新的非结构化数据类型。非结构化和半结构化数据类型，如文本、音频及视频，需要额外处理以从中获得含义及支持元数据。一旦理解了非结构化数据，这些数据就具有了许多与结构化数据相同的需求，例如汇总、沿袭、可审计性和隐私。当
15、来自已知数据源的数据没有事先通知就发生更改时，这进一步增加了复杂性。频繁或实时的模式更改对于事务环境和分析环境而言都是一个巨大负担。 价值价值 (Value)。数据具有内在的价值，但是这种价值潜藏不露需要发掘。有许多定量分析技术可用于挖掘数据的价值 发现消费者喜好或舆情、按位置推出相关优惠，或者识别即将出现故障的设备等等。技术上的突破是数据存储和计算的成本已大幅降低，因此可提供大量数据，于是统计抽样和其他技术方法可以发挥作用，从中发掘含义。然而，发掘价值还需要新的发现流程，需要聪慧、富有洞察力的分析师、业务用户和高管参与其中。真正的大数据挑战是一场人类挑战，人们需要学习询问适当的问题、识别模式
16、、做出有根据的假设，以及预测行为。 5 | ORACLE 企业架构白皮书 企业架构师大数据指南 有关大数据的关键问题 可喜的是，每个人都在询问有关大数据的问题！业务团队和 IT 团队一直在冒险进行尝试，对于大数据，显然存在一种旺盛的偏爱。Oracle 建议当您开启大数据旅程时，应对信息管理采用企业架构方法；大数据是一项企业资产，需要作为您当前信息管理架构的一个集成的组成部分从业务一致性到治理等各个方面进行管理。这是一种切实可行的方法，因为我们知道当您从概念验证转为大规模运行时，将会遇到与其他信息管理挑战相同的问题，即，技能要求、治理、性能、可伸缩性、管理、集成、安全性和访问。要吸取的经验教训是，如果您利用先期投资和培训，您会走得更快、更远。 以下是企业架构师面临的一些常见问题： 大数据问题大数据问题 领域 问题 可能的答案 业务环境业务环境 业务目标 我们将如何利用数据？ 销售新产品和服务 实现个性化客户体验
