《Spark大数据处理：技术、应用与性能优化(全)》由会员分享，可在线阅读，更多相关《Spark大数据处理：技术、应用与性能优化(全)（397页珍藏版）》请在金锄头文库上搜索。
1、 大数据技术丛书Spark大数据处理：技术、应用与性能优化高彦杰 著ISBN：978-7-111-48386-1本书纸版由机械工业出版社于2014年出版，电子版由华章分社（北京华章图文信息有限公司，北京奥维博世图书发行有限公司）全球范围内制作与发行。版权所有，侵权必究客服热线：+ 86-10-68995265客服信箱：官方网址：新浪微博 研发书局腾讯微博 yanfabook目录前言第1章 Spark简介1.1 Spark是什么1.2 Spark生态系统BDAS1.3 Spark架构1.4 Spark分布式架构与单机多核架构的异同1.5 Spark的企业级应用1.5.1 Spark在Amazon
2、中的应用1.5.2 Spark在Yahoo！的应用1.5.3 Spark在西班牙电信的应用1.5.4 Spark在淘宝的应用1.6 本章小结第2章 Spark集群的安装与部署2.1 Spark的安装与部署2.1.1 在Linux集群上安装与配置Spark2.1.2 在Windows上安装与配置Spark2.2 Spark集群初试2.3 本章小结第3章 Spark计算模型3.1 Spark程序模型3.2 弹性分布式数据集3.2.1 RDD简介3.2.2 RDD与分布式共享内存的异同3.2.3 Spark的数据存储3.3 Spark算子分类及功能3.3.1 Value型Transformation
3、算子3.3.2 Key-Value型Transformation算子3.3.3 Actions算子3.4 本章小结第4章 Spark工作机制详解4.1 Spark应用执行机制4.1.1 Spark执行机制总览4.1.2 Spark应用的概念4.1.3 应用提交与执行方式4.2 Spark调度与任务分配模块4.2.1 Spark应用程序之间的调度4.2.2 Spark应用程序内Job的调度4.2.3 Stage和TaskSetManager调度方式4.2.4 Task调度4.3 Spark I/O机制4.3.1 序列化4.3.2 压缩4.3.3 Spark块管理4.4 Spark通信模块4.4.
4、1 通信框架AKKA4.4.2 Client、Master和Worker间的通信4.5 容错机制4.5.1 Lineage机制4.5.2 Checkpoint机制4.6 Shuffle机制4.7 本章小结第5章 Spark开发环境配置及流程5.1 Spark应用开发环境配置5.1.1 使用Intellij开发Spark程序5.1.2 使用Eclipse开发Spark程序5.1.3 使用SBT构建Spark程序5.1.4 使用Spark Shell开发运行Spark程序5.2 远程调试Spark程序5.3 Spark编译5.4 配置Spark源码阅读环境5.5 本章小结第6章 Spark编程实战
5、6.1 WordCount6.2 Top K6.3 中位数6.4 倒排索引6.5 CountOnce6.6 倾斜连接6.7 股票趋势预测6.8 本章小结第7章 Benchmark使用详解7.1 Benchmark简介7.1.1 Intel Hibench与Berkeley BigDataBench7.1.2 Hadoop GridMix7.1.3 Bigbench、BigDataBenchmark与TPC-DS7.1.4 其他Benchmark7.2 Benchmark的组成7.2.1 数据集7.2.2 工作负载7.2.3 度量指标7.3 Benchmark的使用7.3.1 使用Hibench
6、7.3.2 使用TPC-DS7.3.3 使用BigDataBench7.4 本章小结第8章 BDAS简介8.1 SQL on Spark8.1.1 使用Spark SQL的原因8.1.2 Spark SQL架构分析8.1.3 Shark简介8.1.4 Hive on Spark8.1.5 未来展望8.2 Spark Streaming8.2.1 Spark Streaming简介8.2.2 Spark Streaming架构8.2.3 Spark Streaming原理剖析8.2.4 Spark Streaming调优8.2.5 Spark Streaming实例8.3 GraphX8.3.1
7、 GraphX简介8.3.2 GraphX的使用8.3.3 GraphX架构8.3.4 运行实例8.4 MLlib8.4.1 MLlib简介8.4.2 MLlib的数据存储8.4.3 数据转换为向量（向量空间模型VSM）8.4.4 MLlib中的聚类和分类8.4.5 算法应用实例8.4.6 利用MLlib进行电影推荐8.5 本章小结第9章 Spark性能调优9.1 配置参数9.2 调优技巧9.2.1 调度与分区优化9.2.2 内存存储优化9.2.3 网络传输优化9.2.4 序列化与压缩9.2.5 其他优化方法9.3 本章小结前言Spark是发源于美国加州大学伯克利分校AMPLab的大数据分析平
8、台，它立足于内存计算，从多迭代批量处理出发，兼顾数据仓库、流处理和图计算等多种计算范式，是大数据系统领域的全栈计算平台。Spark当下已成为Apache基金会的顶级开源项目，拥有庞大的社区支持，技术也逐渐走向成熟。为什么要写这本书大数据还在如火如荼地发展着，突然之间，Spark就火了。还记得最开始接触Spark技术时资料匮乏，只有官方文档和源码可以作为研究学习的资料。写一本Spark系统方面的技术书籍，是我持续了很久的一个想法。由于学习和工作较为紧张，最初只是通过几篇笔记在博客中分享自己学习Spark过程的点滴，但是随着时间的推移，笔记不断增多，最终还是打算将笔记整理成书，也算是一个总结和分享
9、。在国外Yahoo！、Intel、Amazon、Cloudera等公司率先应用并推广Spark技术，在国内淘宝、腾讯、网易、星环等公司敢为人先，并乐于分享。在随后的发展中，IBM、MapR、Hortonworks、微策略等公司纷纷将Spark融进现有解决方案，并加入Spark阵营。Spark在工业界的应用也呈星火燎原之势。随着Spark技术在国内的大范围落地、Spark中国峰会的召开，及各地meetup的火爆举行，开源软件Spark也因此水涨船高。随着大数据相关技术和产业的逐渐成熟，公司生产环境往往需要同时进行多种类型的大数据分析作业：批处理、各种机器学习、流式计算、图计算、SQL查询等。在S
10、park出现前，要在一个平台内同时完成以上数种大数据分析任务，就不得不与多套独立的系统打交道，这需要系统间进行代价较大的数据转储，但是这无疑会增加运维负担。在1年之前，关注Spark的人和公司不多，由于它包含的软件种类多，版本升级较快，技术较为新颖，初学者难以在有限的时间内快速掌握Spark蕴含的价值。同时国内缺少一本实践与理论相结合的Spark书籍，很多Spark初学者和开发人员只能参考网络上零星的Spark技术相关博客，自己一点一滴地阅读源码和文档，缓慢地学习Spark。本书也正是为了解决上面的问题而编写的。本书从一个系统化的视角，秉承大道至简的主导思想，介绍Spark中最值得关注的内容，
11、讲解Spark部署、开发实战，并结合Spark的运行机制及拓展，帮读者开启Spark技术之旅。本书特色本书是国内首本系统讲解Spark编程实战的书籍，涵盖Spark技术的方方面面。1）对Spark的架构、运行机制、系统环境搭建、测试和调优进行深入讲解，以期让读者知其所以然。讲述Spark最核心的技术内容，以激发读者的联想，进而衍化至繁。2）实战部分不但给出编程示例，还给出可拓展的应用场景。3）剖析BDAS生态系统的主要组件的原理和应用，让读者充分了解Spark生态系统。本书的理论和实战安排得当，突破传统讲解方式，使读者读而不厌。本书中一些讲解实操部署和示例的章节，比较适合作为运维和开发人员工作
12、时手边的书；运行机制深入分析方面的章节，比较适合架构师和Spark研究人员，可帮他们拓展解决问题的思路。读者对象Spark初学者Spark二次开发人员Spark应用开发人员Spark运维工程师开源软件爱好者其他对大数据技术感兴趣的人员如何阅读本书本书分为两大部分，共计9章内容。第1章 从Spark概念出发，介绍了Spark的来龙去脉，阐述Spark生态系统全貌。第2章 详细介绍了Spark在Linux集群和Windows上如何进行部署和安装。第3章 详细介绍了Spark的计算模型，RDD的概念与原理，RDD上的函数算子的原理和使用，广播和累加变量。第4章 详细介绍了Spark应用执行机制、Sp
13、ark调度与任务分配、Spark I/O机制、Spark通信模块、容错机制、Shuffle机制，并对Spark机制原理进行了深入剖析。第5章 从实际出发，详细介绍了如何在Intellij、Eclipse中配置开发环境，如何使用SBT构建项目，如何使用SparkShell进行交互式分析、远程调试和编译Spark源码，以及如何构建Spark源码阅读环境。第6章 由浅入深，详细介绍了Spark的编程案例，通过WordCount、Top K到倾斜连接等，以帮助读者快速掌握开发Spark程序的技巧。第7章 展开介绍了主流的大数据Benchmark的原理，并对比了Benchmark优劣势，指导Spark系
14、统性能测试和性能问题诊断。第8章 围绕Spark生态系统，介绍了Spark之上的SQL on Spark、Spark Streaming、GraphX、MLlib的原理和应用。第9章 详细介绍了如何对Spark进行性能调优，以及调优方法的原理。如果您是一位有着一定经验的资深开发人员，能够理解Spark的相关基础知识和使用技巧，那么可以直接阅读4章、7章、8章、9章。如果你是一名初学者，请一定从第1章的基础知识开始学起。勘误和支持由于笔者的水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。如果您有更多的宝贵意见，欢迎访问我的个人Github上的Spark大数据处理
15、专版：https:/ Wang等大牛以及Michael Armbrust、Reynold Xin、SeanOwen等多位社区大牛，在开发和技术学习中对我的点拨和指导，以及社区的各位技术专家们的博客文章。本书多处引用了他们的观点和思想。感谢机械工业出版社华章公司的首席策划杨福川和编辑高婧雅，在近半年的时间中始终支持我的写作，给我鼓励和帮助，引导我顺利完成全部书稿。特别致谢最后，我要特别感谢我的女友蒋丹彤对我的支持，我为写作这本书，牺牲了很多陪伴你的时间。同时也要感谢你花了很大的精力帮助我进行书稿校对。正因为有了你的付出与支持，我才能坚持写下去。感谢我的父母、姐姐，有了你们的帮助和支持，我才有时间和精力去完成全部写作。谨以此书献给我最亲爱的家人，以及众多热爱大数据技术的朋友们！第1章 Spark简介本章主要介绍Spark大数据计算框架、架构、计算模型和数据管理策略及Spar
