《制造业MES产线IoT平台架构》由会员分享，可在线阅读，更多相关《制造业MES产线IoT平台架构（11页珍藏版）》请在金锄头文库上搜索。
1、制造业MES产线IoT平台架构Oracle全数据和云存储方案对于大多数的制造企业来说，在快速发展的同时对大量数据进行访问、分析及管理越来越关键。 许多制造企业都在增强制造质量的同时寻找提升缺陷跟踪及对完善供应链的优化能力，从而改善其整 体的运营效率。全数据解决方案可以帮助提高制造及运营效率，同时提供对公司运作的全方位观察，从而引导更 好更及时的决策。以全数据为基础的架构可以让企业有能力分析各类数据源以获得更好的洞察。这会 开拓企业的分析及预测选项，并会取得更好的成果。Oracle是企业级解决方案的领导者，在企业纷纷思考大数据如何转换为价值的过程中,Oracle也在结合自己的经验和能力思考，并且
2、总结出了全数据管理解决方案。即对于结构化数据，Oracle 建议采用关系型数据库来处理，其技术非常成熟，生态环境也比较完善。而对于结构化数据，考虑 到未来技术的发展和成本等因素，可以考虑基于Hadoop/NoSQL来处理，同时将关系型数据库成熟的经验和技术扩展到新技术平台。全数据管理平台构建模式应该是关系型数据库和Hadoop/NoSQL相结合，在企业级产品方面Oracle推出了 Exadata + BDA的一整套全数据解决 方案。Oracle Exadata数据库云平台采用集成设计，旨在为Oracle数据库提供卓越的性能、极好的 成本效益和极高的可用性。Exadata可以运行所有类型的数据库
3、负载，包括联机事务处理（OLTP）、 数据仓库（DW）、内存中分析以及各种混合负载。Oracle BDA大数据机是一个灵活、高性能安全的平台，用于在Hadoop、Kafka和NoSQL系 统上运行不同的负载。凭借Oracle Big Data SQL，BDA将Oracle行业领先的SQL实现扩展至 Hadoop/ NoSQL和Kafka系统。BDA将Hadoop生态系统的最新技术和强大的Oracle SQL功能 整合到一个预先配置的平台上，因而支持快速开发新的大数据应用程序，支持与现有关系型数据紧密 集成，这在业界堪称独一无二。Oracle存储云服务为您提供了一个通过互联网存储、管理和使用大量
4、非结构化数据的易用的解决方案。您的应用程序可以使用OpenStack Swift兼容的REST API或Java API以编程方式访问Oracle存储云服务。您可以使用基于web的图形控制台监视关键存储量度并管理用户和角色。下面以一个真实的案例向您介绍如何通过ORACLE全数据平台+ Cloud存储混合云架构设计， 构建一个制造业MES产线IoT平台。1.典型案例某制造业MES产品检测系统大数据需求分析1.1.数据源分析 MES产品检测系统测试数据分为两类：SUMMARY概要数据DETAIL详细数据o LOGFILE 日志文件o IMAGE测试图片文件数据按RETENTION分类超热数据：当前
5、生产数据：1天以内热数据：1天至1月温数据：1月至6月冷数据：6月以上至2年具体数据分析如下:SUMMARYLOGFILEIMAGE定义测试数据的概测试日志文件测试图片文件（测试数据要信息（测试数据的的详细信息）详细信息）格式结构化数据结构化数据非结构化数据数据大小（每10KB50KB5MB条）产生数量/分钟1000 条10万条1000 条数据量/分钟10 MB5 GB5 GB数据量/天14.4 GB7.2 TB7.2 TB数据量/月432 GB216 TB216 TB数据量/半年2.592 TB1.296 PB1.296 PB数据量/年5.184 TB2.592 PB2.592 PB数据访问
6、性能=5秒（超热数据：1天内）要求=10分钟（热数据：1天至1月）=4小时（温数据：1月至半年） 构建企业级IoT平台2.1.超热数据处理阶段 不超过一天的超热数据（SUMMARY与LOGFILE中间表数据）由EXADATA + ORACLE 12c 实现快速处理，尤其是大量的JOIN操作。 Exadata所特有的SMART SCAN、大容量智能缓存等功能 以及Oracle 12C的IN MEMORY 列式内存计算、分区等功能可以实现非常高效地处理超热数据。超対数据天以内）厂 SUMMARY/7I LOG FILEEXADATAORACLE 12C2.2.热/温数据处理阶段 Oracle中的S
7、UMMARY/LOGFILE中间表数据实时同步至BDA大数据一体机平台 文件导入至BDA中的HDFS,表METADATA存储至HIVE导入工具为OGG BDA存储半年以内的热/温数据超出半年以外的LOGFILE数据则归档至公有云存储7大数据高效2.3半年取外购IWFILI 藪蜒迁欝至眷右77SimEY/LOG FILEIMAGE立卄趙船敷据 （1天以内）热/温数据半年以内至仝有廿 ）BDA大数据一 体机平台冷数据处理阶段 BDA大数据一体机中超出半年以外的LOGFILE数据归档至公有云 IMAGE数据归档至公有云BDA大数据一体机bMiWLOGFILE)热r隘刼据半年以内冷数据 半年至两年拎数
8、据归档 至公有云IMAGE文件2.4. BDA方案整体架构图基于客户需求理解，ORACLE建议如下:L2C234产品 检厠MES 生产BX超热数据的处理由Exadata来处理;Summary和Log文件都可以存放于BDA中，由于Summary文件较小，且包含 Log文件的访问信息，Summary文件一直存放在BDA中；Log文件冷数据归档窗口保持为6个月。整体方案架构图如下:DSE反馈指导MFS生产，提高砸生产效率形成闭坏的WT超热数抵（1天以内）経年以内）半毎至两年）HJGl DA I A SQL分析甌一汇息oa实时同出至公有云 SUMMARY/ LOG RILEI MAGE文件&RACLE
9、DSS分析决策说明：1实时同步通过OracleGolden Gate进行实时同步。OGG可以按照配置将更新的记录同步到HDFS 中的文件，并且可以指定文件分割的大小。2用户可以直接通过ClouderaHadoop平台进行数据访问，例如Impala、Hive等。同时考虑到现 有人员技能复用也可以通过任何一个Oracle 12c实例通过Oracle Big Data SQL即可沿用Oracle 数据库平台上的DBA管理和访问方法。3 Summary 直保存在BDA中，根据Summary中文件的URI可以定位到公有云中的文件，需要 的时候可以将文件从公有云中恢复和下载到本地的BDA中进行查询。IMA
10、GE文件一直归档至公有云。4 Oracle云中数据湖解决方案可以提供灵活的Hadoop集群云服务，通过Openstack Swift协议 或者基于内存的大数据文件协议(BDFS )直接将Oracle存储云上的数据映射成Hive表通过SQL进 行查询访问和分析，未来冷数据的批量查询分析可以通过该方式实现，分析结果再返回本地使用，提 升云中海量数据综合分析能力，减少海量数据在本地和云中频繁移动。3.总结通过采用全数据平台(Exadata +BDA)与归档云存储的混合架构，再加上GoldenGate实时的 集成技术以及Big Data SQL、Big Data Connect. R等一系列大数据技术，可分别快速有效地处理 大数据处理的不同阶段、不同类型数据。该架构具体优势体现如下：全数据平台Exadata与BDA构成的全数据平台可支持各种结构化及非结构数据支持SQL、NOSQL、HIVE、 HDFS等各类数据平台。性能最优Exadata与BDA均为软硬高度优化的一体化设备。统一 SQL访问Oracle Big Data SQL提供了跨Hadoop集群/NoSQL数据库/Oracle数据库统一访问数据的能 力。极具优惠价格的存储云以Archive Storage为例：每月每GB容量价格为$0.0026，每月前10TB免费的下载优惠，相 对于AWS、阿里等都极具吸引力。
