《Spark开发环境配置及流程》由会员分享，可在线阅读，更多相关《Spark开发环境配置及流程（7页珍藏版）》请在金锄头文库上搜索。
1、Spark开发环境配置及流程之前已经将集群配置完成(详见Hadoop2.6.0搭建过程.doc和Sparkl.2搭建 过程.doc文档)，开发环境中的JDK, Scala部分就不介绍了，下面直接介绍我们 用的开发工具Interlij IDEA。为什么选择Intellij IDEA?因为它更好的支持Scala 项目，目前Spark开发团队使用它作为开发环境。1下载直接到官方网站下载页面下载(http:/ 14.1Build: 141.177.4 Released: March 24th, 2015System requirementsInstallation InstructionsUltima
2、te EditionCommunity EditionFull-featured IDE for JVM-based and polyglot development Java EE, Sprl ng/Hlber nate and other tech no I ogies support Deployment and debugging with most application servers Duplicate code search, dependency structure matrix, etc.Lightweight IDE for Java SE, Groovy & Scala
3、 development Powerful envIronment for building Google Android apps Integration with JUnit, TestNG, popular SCMs, Ant & Maven Free, open-source (get the source code), Apache 2 license* |0V Google鋼 Intellij IDEAWhats New Features Plugins Getting Started Buy & UpgradeWindows Mac OS X LinuxSee whats ne
4、w in Intellij IDEA 14.1 Download Ultimate以看看：Down load Comm unityDownload previous versions of Intellij IDEA.有收费的完整版，也有免费的基本版本，收费的网上也有破解方案。2解压解压到/usr/local,这是因为之前的Scala和Spark都放这里，也可以根据自己 喜好。hadooplenovoO Downloads$ sudo tar -vxzf ideaIC-14.1.tar.gz -C /usr/local/ 改个名字，然后授权给hadoop用户。hadooplenovo0 loc
5、al$ cd /usr/local/ hadooplenovo0 local$ sudo mv ideaIC-14.1 ideaIC14hadooplenovo0 local$ sudo chown -R hadoop:hadoop ideaIC14/3.启动在解压的文件夹下有个文件介绍怎么打开应用，还有一些设置信息，大家可hadooplenovo0 local$ cd ideaIC14/hadooplenovo0 ideaJXlAlW Isbin build.txt | 工 ns 七日丄丄-Linux-七日| lib license NOTICE .txt pluginshadoopleno
6、vo0 ideaIC14$通过cat命令可以查看，我只截了一些关键的:hadooplenovo0 ideaIC14$ cat Install-Linux-tar.txt IntelliJ IDEAINSTALLATION INSTRUCTIONSLinux Installation Instruc七:101151. Unpack the IntelliJ IDEA distribution 日rchive that you downloaded 七。 where you wish to ins七日丄丄 七11? program. We will refer to 七his destina1.0
7、11 location as your instza丄丄aizion home below.2. Open a console and cd into installation home/bin and type:七。star七七11? application.根据提示，我们直接进入到文件夹bin目录下执行./idea.sh即可启动：hadooplenovo0 ideaIC14$ cd bin/ hadooplenovo0 bin$ ./idea.sh之后便可以根据UI提示界面创建快捷方式，方便下次启动。4.在IDEA中安装Scala插件在IDEA的设置里面，直接搜索“plugins”，在右边
8、的展开中搜索“scala”，点击相应的 按钮添加插件即可：5.配置Spark应用开发环境 这里以SparkPi程序为例子。5.1创建Scala Project，设置名称，JDK和Scala路径:口 Java*W* AndroidEi Java FX 秽 IntelliJ Platform Pluginm Maven GradleG Groovy O GriffonScala口 Empty ProjectPrevious理extCancelHelpProject name：Project location:Project SDK:SparkTest-/IdeaProjects/SparkTest
9、IEScala SDK；H 1.6 (1) (java version H60_45”)Create.scala-sdk-2.10.4 (2) More SettingsCreate source root：srcIEPreviousFinishCancelHelp5.2 选择菜单中的“ File”f“ project structure”一 Libraries”，然后点击“ +” 导入 spark-assembly-1.2.0-hadoop2.4.0.jar。这个jar包包含Spark的所有依赖包和Spark源码。一开始我们下载的Spark版本 是预编译版本的（见Spark on yarn搭
10、建过程），所以这个包可以在解压的Spark目 录下lib目录里找到，假如说下载的没有编译的，需要通过sbt/sbt assembly命令打包。同样的，假如IDEA不能识别Scala库，也是用这种方法，路径是Scala的安装路径。+ 0Project SettingsProjectModulesLibrariesFacetsArtifactsPlatform SettingsSDKSGlobal LibrariesProbSemsNot hl ng tcProject StructureCancel i5.3现在可以开发Scala程序。右键新建一个scala类，就可以写程序了。我们直接复制 Sp
11、arkPi的代码，这个代码在Spark文件example目录下可以找到源码：源码实际上是行不通的，要加上我红框标出来的两句话。第一句设置master的ip和端 口，第二句调用addJar方法将我们压缩好的jar包提交到Spark集群（压缩方法在后面介绍）。6.运行Spark程序像上面我们编写完代码，有两种方法运行我们的程序，一个是IDEA中的run方法,另一个是将我们的程序打包成jar包，在Spark集群上用命令行执行。在集群上运行Spark应用Jar包：选择 “File” f “Project Structure” f “Artifact”，单机 “+”，选择 “JAR” f “From M
12、odules with dependencies”，然后选择main函数和Jar包的输出路径：Project Structure申Project SettingsProjectModulesLibrariesFacetsArtifactsPlatform SettingsSDKsGlobal LibrariesNothing toProblems在主菜单中选择“Build”f“Build Artifact”编译生成Jar包。最后至Ijar包的目录下执行java -jar SparkTest.jar即可。Run方法：在IDEA菜单中选择“Run”f“Edit Configurations”出现如下界面： 点左上角的“+”，选择“Application”，在右边的拓展中改一下name，选择Main 函数：然后点击右上角的绿色运行箭头即可:以上介绍了整个Spark应用开发流程以及如何编译调试程序。
