《spark各个知识点总结》由会员分享，可在线阅读，更多相关《spark各个知识点总结（60页珍藏版）》请在金锄头文库上搜索。
1、Spark简介,Spark是什么,Spark是一个快速且通用的集群计算平台。 集群计算 把一台电脑无法解决的问题，放到多台电脑组成的集群上进行解决，这就是集群计算。,Spark的特点,Spark是快速的 很多任务能够秒级完成，对于一些特定的工作，Spark比Mapreduce快10-20倍。 Spark扩充了流行的Mapreduce计算模型，使Spark更高效地支持更多类型的计算，包括交互式查询，和流处理。 速度快的另一个主要原因就是，能够在内存中计算。,Spark的特点,Spark是通用的 Spark的设计，容纳了之前很多独立的，分布式系统所拥有的功能。独立的分布式系统包括：批处理，迭代式计
2、算，交互查询和流处理等。 并且，由之前需要维护不同的集群，到现在只需要维护一个Spark集群。,Spark的特点,Spark是高度开放的 Spark提供了Python，Java，Scala，SQL的API和丰富的内置库。 同时，Spark和其它的大数据工具整合的很好。尤其，Spark能够运行在Hadoop集群上面，能够访问Hadoop数据。,Spark的组件,Spark包括多个紧密集成的组件。,Spark的组件,紧密集成的优点： 如果Spark底层优化了，那么基于Spark底层的组件，也得到了相应的优化。例如，Spark底层增加了一个优化算法，那么Spark的SQL和机器学习包也会自动的优化。
3、 紧密集成，节省了各个组件组合使用时的部署，测试等时间。 当向Spark增加新的组件时，其它的组件，可以立刻享用新组件的功能。 无缝连接不同的处理模型。,Spark的组件,Spark Core： 包含Spark的基本功能，包含任务调度，内存管理，容错机制等。 Spark Core内部定义了RDDs(resilient distributed datasets，弹性分布式数据集)。RDDs代表横跨很多工作节点的数据集合，RDDs可以被并行的处理。 Spark Core提供了很多APIs来创建和操作这些集合(RDDs)。,Spark的组件,Spark SQL： 是Spark处理结构化数据的库。它支
4、持通过SQL查询数据，就像HQL(Hive SQL)一样，并且支持很多数据源，像Hive表，JSON等。Spark SQL是在Spark 1.0版本中新加的。 Shark是一种较老的基于Spark的SQL项目，它是基于Hive修改的，它现在已经被Spark SQL替代了。,Spark的组件,Spark Streaming: 是实时数据流处理组件，类似Storm。 Spark Streaming提供了API来操作实时流数据。,Spark的组件,MLlib: Spark有一个包含通用机器学习功能的包，就是MLlib(machine learning lib)。 MLlib包含了分类，聚类，回归，协
5、同过滤算法，还包括模型评估，和数据导入。 它还提供了一些低级的机器学习原语，包括通用梯度下降优化算法。 MLlib提供的上面这些方法，都支持集群上的横向扩展。,Spark的组件,Graphx: 是处理图的库(例如，社交网络图)，并进行图的并行计算。就像Spark Streaming和Spark SQL一样，Graphx也继承了Spark RDD API，同时允许创建有向图。 Graphx提供了各种图的操作，例如subgraph和mapVertices，也包含了常用的图算法，例如PangeRank等。,Spark的组件,Cluster Managers: Cluster Managers就是集群
6、管理。Spark能够运行在很多cluster managers上面，包括Hadoop YARN，Apache Mesos和Spark自带的单独调度器。 如果你把Spark安装在了裸机上面，单独调度器能够提供简单的方式，让你开始Spark之旅。 如果你已经有了Hadoop Yarn或者Mesos集群，那么，Spark对这些集群管理工具的支持，使你的Spark应用程序能够在这些集群上面运行。,Spark的历史,Spark诞生于2009年，那时候它是，加州大学伯克利分校RAD实验室的一个研究项目，后来到了AMP实验室。 Spark最初是基于Hadoop Mapreduce的，后来发现Mapreduc
7、e在迭代式计算和交互式上是低效的。因此Spark进行了改进，引入了内存存储和高容错机制。 关于Spark的研究论文在学术会议上发表，并且在它被创建的2009年不久之后，对于一些特定的工作，Spark比Mapreduce快10-20倍。 2010年3月份Spark开源。 2011年，AMP实验室开始在Spark上面开发高级组件，像Shark(Hive on Spark)，Spark Streaming。 2013年转移到了Apache下，现在已经是顶级项目了。 2014年5月份Spark1.0发布。,Spark运行环境,Spark 是Scala写的, 运行在JVM上。所以运行环境是Java6或者
8、以上。 如果想要使用 Python API，需要安装Python 解释器2.6版本或者以上。 目前Spark(1.2.0版本) 与Python 3不兼容。,Spark下载,下载地址：http:/spark.apache.org/downloads.html，选择Pre-built for Hadoop 2.4 and later 这个包，点击直接下载，这会下载一个spark-1.2.0-bin-hadoop2.4.tgz的压缩包 搭建Spark不需要Hadoop，如果你有hadoop集群或者hdfs，你可以下载相应的版本。 解压：tar -zxvf spark-1.2.0-bin-hadoop
9、2.4.tgz,Spark目录,README.md 开始Spark之旅的简单介绍。 bin 包含用来和Spark交互的可执行文件，如Spark shell。 core, streaming, python, 包含主要组件的源代码。 examples 包含一些有用的单机Spark job。 你可以研究和运行这些例子，来学习Spark API。,Spark的Shells,Spark的shell使你能够处理分布在集群上的数据(这些数据可以是分布在硬盘上或者内存中)。 Spark可以把数据加载到工作节点的内存中，因此，许多分布式处理(甚至是分布式的1T数据的处理)都可以在几秒内完成。 上面的特性，使迭
10、代式计算，实时查询、分析一般能够在shells中完成。Spark提供了Python shells和 Scala shells。,Spark的Shells,打开Spark的Python Shell： 到Spark目录，Spark的Python Shell也叫做PySpark Shell bin/pyspark 打开PySpark Shell之后的界面,Spark的Shells,打开Spark的Scala Shell： 到Spark目录 bin/pysparkbin/spark-shell打开Scala版本的shell 打开之后的界面,Spark的Shells,例子： scala val line
11、s = sc.textFile(“/testfile/helloSpark“) / 创建一个叫lines的RDD lines: org.apache.spark.rdd.RDDString = /testfile/helloSpark MappedRDD1 at textFile at :12 scala lines.count() / 对这个RDD中的行数进行计数 res0: Long = 2 scala lines.first() / 文件中的第一行 res1: String = hello spark 修改日志级别：conf/log4j.properties log4j.rootCate
12、gory=WARN, console,Spark的核心概念,Driver program： 包含程序的main()方法，RDDs的定义和操作。(在上面的例子中，driver program就是Spark Shell它本身了) 它管理很多节点，我们称作executors。 count()操作解释(每个executor计算文件的一部分，最后合并)。,Spark的核心概念,SparkContext: Driver programs 通过一个 SparkContext 对象访问 Spark，SparkContext 对象代表和一个集群的连接。 在Shell中SparkContext 自动创建好了，就是
13、sc， 例子： sc 变量 sc ,Spark的核心概念,RDDs： 在Spark中，我们通过分布式集合(distributed collections，也就是RDDs)来进行计算，这些分布式集合，并行的分布在整个集群中。 RDDs 是 Spark分发数据和计算的基础抽象类。 用SparkContext创建RDDs 上面例子中使用sc.textFile()创建了一个RDD，叫lines，它是从我们的本机文本文件中创建的，这个RDD代表了一个文本文件的每一行。我们可以在RDD上面进行各种并行化的操作，例如计算数据集中元素的个数或者打印出第一行。,Spark的核心概念,向Spark传递函数： 向S
14、park传递函数是Spark的一个常用功能，许多Spark API是围绕它展开的。 例子：filtering scala val lines = sc.textFile(“/testfile/helloSpark“) lines: spark.RDDString = MappedRDD. scala val worldLines = lines.filter(line = line.contains(“world“) pythonLines: spark.RDDString = FilteredRDD. scala worldLines .collect(),Spark的核心概念,向Spark
15、传递函数： 上面例子中的=语法是 Scala中定义函数的便捷方法。你也可以先定义函数再引用: 例子： def hasWorld(line:String) : Boolean= line.contains(“world“) worldLines = lines.filter(hasWorld) 像filter 这样的基于函数的操作，也是在集群上并行执行的。,Spark的核心概念,向Spark传递函数： 需要注意的地方： 如果你传递的函数是一个对象的成员，或者包含一个对象中字段的引用(例如self.field)，Spark会把整个对象都发送到工作节点上，这样会比仅仅发送你关心的信息要大很多，而且有
16、时候会带来一些奇怪的问题。 传送信息太多解决方法：我们可以把关心的字段抽取出来，只传递关心的字段。 奇怪问题的避免：序列化包含函数的对象，函数和函数中引用的数据都需要序列化(实现Java的Serializable interface)。 如果Scala中出现NotSerializableException，一般情况下，都是因为没序列化。,RDDs介绍,RDDs介绍 RDDs的创建方法 Scala的基础知识,RDDs介绍,RDDs Resilient distributed datasets(弹性分布式数据集，简写RDDs)。 一个RDD就是一个不可改变的分布式集合对象，内部由许多partitions(分片)组成，每个partition都包括一部分数据，这些partitions可以在集群的不同节点上计算 Partitions是Spark中的并行处理的单元。Spark顺序的，并行的处理partitions。 RDDs 是 Spark的分发数据和计算的基础抽象类，是Spark的核心概念。 RDD可以包含 Python, Java, 或者 Sc
