《多图技术贴：深入浅出解析大数据平台架构》由会员分享，可在线阅读，更多相关《多图技术贴：深入浅出解析大数据平台架构（4页珍藏版）》请在金锄头文库上搜索。
1、-目录：目录：什么是大数据什么是大数据HadoopHadoop 介绍介绍-HDFS-HDFS、MRMR、HbaseHbase大数据平台应用举例大数据平台应用举例- -腾讯腾讯公司的大数据平台架构公司的大数据平台架构“就像望远镜让我们能够感受宇宙， 显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式。大数据的大数据的 4V4V 特征特征- -来源来源公司的“大数据公司的“大数据随着公司业务的增长，大量和流程、规则相关的非构造化数据也爆发式增长。比方：1、业务系统现在平均每天存储 20 万图片，磁盘空间每天消耗 100G；2、平均每天产生签约视频文件 6000 个，每个平均
2、 250M，磁盘空间每天消耗 1T;三国里的“大数据三国里的“大数据“草船借箭和大数据有什么关系呢？对天象的观察是基于一种对风、 云、 温度、湿度、 光照和所处节气的综合分析这些数据来源于多元化的“非构造类型，并z.-且数据量较大， 只不过这些数据输入到的不是电脑，而是人脑并最终通过计算分析得出结论。GoogleGoogle 分布式计算的三驾马车分布式计算的三驾马车Google File System用来解决数据存储的问题，采用 N 多台廉价的电脑，使用冗余也就是一份文件保存多份在不同的电脑之上的方式，来取得读写速度与数据平安并存的结果。Map-Reduce 说穿了就是函数式编程，把所有的操作
3、都分成两类，map 与reduce， map 用来将数据分成多份， 分开处理， reduce 将处理后的结果进展归并，得到最终的结果。BigTable 是在分布式系统上存储构造化数据的一个解决方案，解决了巨大的 Table 的管理、负载均衡的问题。HadoopHadoop 体系架构体系架构HadoopHadoop 核心设计核心设计HDFSHDFS 介绍介绍- -文件读流程文件读流程Client 向 NameNode 发起文件读取的请求。NameNode 返回文件存储的 DataNode 的信息。Client 读取文件信息。HDFSHDFS 介绍介绍- -文件写流程文件写流程Client 向 N
4、ameNode 发起文件写入的请求。z.-NameNode 根据文件大小和文件块配置情况，返回给 Client 它所管理局部DataNode 的信息。Client 将文件划分为多个 Block，根据 DataNode 的地址信息，按顺序写入到每一个 DataNode 块中。MapReduceMapReduce映射、化简编程模型映射、化简编程模型输入数据-Map 分解任务-执行并返回结果-Reduce 汇总结果-输出结果HbaseHbase分布式数据存储系统分布式数据存储系统ClientClient：使用 HBase RPC 机制与 HMaster 和 HRegionServer 进展通信Zoo
5、keeperZookeeper：协同效劳管理，HMaster 通过 Zookeepe 可以随时感知各个HRegionServer 的安康状况HMasterHMaster:管理用户对表的增删改查操作HRegionServerHRegionServer：HBase 中最核心的模块，主要负责响应用户 I/O 请求，向 HDFS文件系统中读写数据HRegionHRegion:Hbase 中分布式存储的最小单元，可以理解成一个 TableHStoreHStore：HBase 存储的核心。由 MemStore 和 StoreFile 组成。HLogHLog：每次用户操作写入 Memstore 的同时，也会
6、写一份数据到 HLog 文件还有哪些还有哪些 NoSQLNoSQL 产品？产品？为什么要使用 NoSQL？z.-一个高并发的一个高并发的 DBDB 进化史进化史关系模型关系模型 聚合数据模型的转换聚合数据模型的转换- -根本变换根本变换关系模型关系模型 聚合数据模型的转换聚合数据模型的转换- -嵌变换嵌变换关系模型关系模型 聚合数据模型的转换聚合数据模型的转换- -分割变换分割变换关系模型关系模型 聚合数据模型的转换聚合数据模型的转换- -联变换联变换Hadoop2.0Hadoop2.0MapReduce：JobTracker：协调作业的运行。TaskTracker：运行作业划分后的任务。大数据的技术领域大数据的技术领域腾讯大数据现状资料来自腾讯大数据现状资料来自 2014.4.112014.4.11 腾讯分享日大会腾讯分享日大会腾讯大数据平台产品架构腾讯大数据平台产品架构腾讯大数据平台与业务平台的关系腾讯大数据平台与业务平台的关系公司数据处理平台的根底架构公司数据处理平台的根底架构公司大数据平台架构图公司大数据平台架构图应用一数据分析应用一数据分析应用二视频存储应用二视频存储应用三离线日志分析应用三离线日志分析应用五在线数据分析应用五在线数据分析参考资料：京东基于 Samza 的流式计算实践z.
