《大数据方案介绍》由会员分享，可在线阅读，更多相关《大数据方案介绍（10页珍藏版）》请在金锄头文库上搜索。
1、典型云计算平台架构E策中由噁4由pcei mUrtjxsws生态体系开源成熟的hadoop 能满足大数据场景下绝打多数需求，同时在技术可行性 hadoop 从企业的技术选型角度，与成本上，具有无可比拟额优势。开源的产品，、Hadoop是架构在廉价的硬件服务器上，不需要非常昂贵的硬件做支撑。2、 1 、因为属于二次开发，同时因为有非常 3免费的，基于开源协议，可以自由修改，可控性更大。、当集群规4活跃的社区讨论，对开发人员的能力要求相对不高， 工程师的学习成本也并不高。 但是相对于自研系统来说 的话，开发成本和维护成本会凸显岀来。还是便宜的很多。模非常大时，的整个生态体系，涵盖了系统数据存储、数
2、据收集、数据导入导岀到关系数据hadoop 数据挖掘和机器学习、列式存储在线数据数据序列化处理与任务调度、库、并行计算框架、库、元数据中心、工作流控制、系统部署配置监控、可视化处理等等方方面面。资料wordHadoop Ecosystem MapaaI-t& sj/sen14*HUH；-SfTjcrunfd 氐扭皿OLTPJ*Mndffi urIfc阳Tg舟“揃w&Q阪展附冷咿r knee tn大数据分析平台一、海量数据存储及扩展能力数据多副本，异地备份容灾能力，高可用配置，HA基于分布式HDFS文件系统存储，以最经济的硬件成本支持海量数据存储和扩容。二、高负载和海量数据处理能力之上的资源管控
3、与调度模型，支持资源的动态配置与热启动，公平科学的任yarn基于尽可能降低网络务调度算法，达到资源利用的最大化、合理化。优先分配就近的运算节点，支持任务重试和资源预估，不受个别越算节点故障影响。 支持动态扩充高容错能力，带宽。运算资源。能在海量的服务器集群中执行高复杂度、高资源需求、高运算密集型的任务。三、灵活快速的平台搭建及全面运营监控指标体系一键式的平台搭建，支持快速搭建集群环境。灵活方便的配置界面，可针对集群、单提供自定义的服务模块安装、资源分配、权限管理。指标体系全机进行系统配置及调优。面的监控管理、良好的可视化界面，提供自定义脚本的预警与处理。资料wordFU UMf*他3,2 di
4、Siica-rLeaddEkM-Llipklhi# Mnalift kflipsifiFnirMHrMfl lHr-liljlijnhk x RF-2Q.03 msHn_ *LHdharwNMH 5J AQ(LittIOw Vh!Ytvr MpfM3.2 dm# d i riiE g f也口祕US*8/8rAMv1UtK| 4ir* 5.0/8四、多平台、多结构的数据接入与处理支持各种格式、多数据源的数据导入。从系统日志、数 据库、第三方数据源等导入数据到集群环境，进行快速地数据清洗、转化、建模、固化，提供各业务模块进行运算处理。良ETL任务自动生成、运行。代码规范统一。好的模板配置，支持多五
5、、体验良好的交互式展示界面及报表工具除了展示各个常规指标及运算记过。通过专业的统 计数据分析系统设计方法，理清海量将多个视图整合，展示同一数；数据指标与维度，按主题、成体系呈现复杂数据背后的联系据在不同维度下呈现的数据背后的规律， 帮助用户从不同角度分析数据、 缩小答案的范围、 便于用户 及时捕捉其关展示数据的不同影响。具备显示结果的形象化和使用过程的互动性，注的数据信息。资料wordHadoop大数据分析平台解决方案说明简介本文档描述本公司Hadoop大数据分析平台解决方案的具体实现细节。本平台采用开源组件搭建为一个通用目的的大数据分析平台，可用于各领域，包括：教育、医疗、电信、银行等 大数
6、据应用客户。平台具备如下特点：1. 一键安装2. 可视化运行维护3. 自由的扩展性4. 完全开源，并于最新的稳定版本同步5. 无缝集成Hadoop生态领域的各个数据分析组件6. 可视化大数据实验环境方案采用的Hadoop模块列表? HDFS用于大规模数据存储Yarn，系统资源管理 ？Hive，基于 Mapreduce的SQL数据访问？Pig，脚本式数据处理?Storm，流式数据处理 ？Spark/Spark Streami ng ，内存计算框架？HBase, Key-Value 数据存储？MapReduce,离线批处理计算框架？Kafka ?，消息队列式流失数据接入HCatlog ?，元数据管
7、理Ambari ?， Hadoop平台监控、管理界面ZooKeeper ?，保证系统无单点运行Oozie，工作流式任务调度？方案的硬件方案本方案对于硬件没用特别要求，平台可以部署在Amazon等云服务上，可以部署在实体物理服务器构成的集群上，也可以部署在基于OpenStack等其他虚拟节点上。大数据平台功能列表在开源Hadoop模块的基础上，本公司的hadoop大数据平台对各模块做了整合，从而形成一料 wordHadoopPC个通用的、企业级的数据平台系统结构图Oith infitfri-urUfll* Ikwinor说靳井Hi甜雀可民1匕Maria平台功能模块系统管理 系统管理模块提供如下功
8、能:节点管理，负责集群节点控制，可以增加、停用、启用或者移除节点。1.等，包括停止，启动，HBase服务管理，对节点上每个服务进行管理，如HDFS Yarn 2.重启。HDFS数据对象的增删改查。、对象管理，3. Hive、HBase发现不当通过日志的查询审计，日志审计，操作日志记录了所有改变系统配置的操作，4.操作，保证系统安全稳定运行。资料word多租户管理多租户管理模块提供如下功能：1. 用户管理，负责用户的增删改查。2. 角色管理，负责角色的增删改查。3. 权限管理，负责授权和取消授权。4. 队列管理，负责 Yarn队列管理。5. 资源使用规则管理，负责资源使用规则的增删改查。系统监控
9、系统监控提供如下功能：1. 集群监控，显示集群 cpu、内存、网络、10使用情况。cpu、内存、网络、IO使2. 节点监控，显示节点上每个组件服务的状态及运行情况；显示节点 用情况。3. 任务监控，监控节点上每个作业的完成情况。调度管理Prospector大数据平台提供所有类型的任务调度管理。Prospector大数据平台的任务类型包括:数据集成任务、数据预处理任务和数据分析任务三类。Prospector大数据平台可以对所有类型任务实线以下类型调度：? 一次性执行?定期执行?条件执行数据集成（Data In tegrator）数据集成理模块负责将外部数据源导入到Prospector大数据平台，
10、同时也负责将数据分享到其他的外部数据存储。睿帆Data Integrator用于将外部数据源的数据集成到Hadoop大数据平台。Data Integrator支持三大类数据源：1. 数据库、NoSQL系统2. 文件系统（FTP、HDFS3. 消息队列（Kafka、ActiveMQ ）资料word数据库、NoSQl系统数据源? DB2Oracle ?Teradata ?MySQL ? Netezza ?PostgreSQL ?Sybase IQ ?Vertica ?Greenplum ?Hive ?HBase?文件系统与文件格式? Apache LogCSV/TSV ?HTML/XML ?JSO
11、N ?AVRO?Parquet ?Bi nary ?Key, Value ?ORC?消息队列数据源 ? Kafka? ActiveMQ 数据治理(Data Governor )对数据进行清洗、转换、过滤、聚合、数据治理模块负责对导入到大数据平台中的数据进行处理, 脱敏等，将数据转化成有意义的数据供分析人员使用。 数据治理模块同时负责数据质量管理。资料word数据质量1. 数据质量评估。提供全方位数据质量评估能力，如数据的重复性、关联性、正确性、完全性、 一致性、合规性等，对数据进行全面体检。2. 数据质量检核和执行。提供配置化的度量规则和检核方法生成能力，提供检核脚本的定时调度执行和第三方调度
12、工具的调度执行功能。3. 数据质量监控。系统提供报警机制，对检核规则或方法进行阀值设置，对超出阀值的规则进 行不同级别的告警和通知。4. 定制化数据质量报告。系统提供了丰富的 API可进行定制化数据质量包括开发，另外系统内 置了常用质量报告。5. 强大的数据质量问题分析能力。提供多种问题分析能力，包括血统分析，影响分析，全链 分析，定位问题产生的根源。数据整理与转换1. 数据整理。包括数据过滤、数据合并、数据拆分、数据复制、数据排序等数据预处理功能。2. 数据转换。计算产生新变量、重新赋值、统计汇总、Rank、生成随机数、替换缺失值、空值 处理、Lookup等数据转换功能。数据分析(Data
13、Analyzer )数据分析模块提供应用开发环境、集成简化机器学习算法、提供图形化的拖拽界面供数据分析使用。应用开发用户通过可视化方式定义工作流完成下数据分析：统计报表、数据挖掘、机器学习、文本挖掘。资料word拖拽式可视化开发环境k-口将其转化成对Data An alyzer企业数据分析用户通过可视化开发环境定义数据分析的逻辑，底层数据分析算法的调用，并提供任务执行、任务调度和任务管理功能。样例 DataAnalyzer Data Analyzer企业数据分析师可以同过完成一系列数据分析。聚类可以把企业客户分成相似但不相同的、又无直接关联关系的Analyzer通过聚类算法，Data客户群体，
14、显而易见是聚类结果可以帮企业客户分群。资料word决策树通过决策树算法，Data Analyzer可以把客户根据不同属性的取值划分到固定的类别，例如高收 入、高潜力、高风险等。而这些通过属性的分类规律很可能隐藏在数据中而从未被发现。属性关联可以发现客户年龄、学历等属性与收入、信用记录之间Analyzer通过属性关联算法,Data的潜在关联关系，从而帮助企业制定有针对性的客户发展计划。IMimy0214/1Ll*vMVQW00100?in(J.CJBiO.TUlig006OlH1 W血科31Q16040.C7OlUB预测推荐她在某方面（音乐、电影）的兴可以根据客户信息预测他/Data An alyzer通过关联算法， 趣度，从而协助企业的精准营销。资料word、WTO JinnAMFy !?）数据可视化（Data Viewer的技术框架实现如下数据Google Charts
