《应用开发实战21yarn支持的计算框架（11）ppt培训课件》由会员分享，可在线阅读，更多相关《应用开发实战21yarn支持的计算框架（11）ppt培训课件（10页珍藏版）》请在金锄头文库上搜索。
1、Hadoop大数据解决方案进阶应用,Hadoop,讲师：迪伦（北风网版权所有）,YARN支持的计算框架(11),Spark Standalone模式部署Spark的YARN模式部署MapReduce编程模型,课程目标,测试Spark集群,运行SparkPi $ cd /home/hadoop/spark/bin $ ./run-example org.apache.spark.examples.SparkPi spark:/192.168.136.101:7077,测试Spark集群,测试spark-shell spark-shell 是一个spark application，运行时需要向资源
2、管理器申请资源 $ MASTER=spark:/192.168.136.101:7077 spark-shell停止集群 $ $SPARK_HOME/spark/sbin/stop-all.sh,关于Spark Standalone Mode的运行,资源调度 Spark Standalone Cluster目前只支持FIFO方式调度，不过，允许多个并发用户 监控和日志 通过Web UI来监控集群 日志：$SPARK_HOME/spark/logs 和Hadoop并用 Spark可以作为独立的服务，在已有的Hadoop集群设备上并行，并通过hdfs:/URL存取Hadoop数据,Spark的YA
3、RN模式部署,要运行在YARN上，需要用SBT(Scala Build Tool)编译官方提供的二进制安装文件，生成YARN client端使用的jar包 在$SPARK_HOME目录下执行编译 $ SPARK_HADOOP_VERSION=2.2.0 SPARK_YARN=true ./sbt/sbt assembly 在YARN环境下运行 启动Hadoop2.2.0集群 确保环境变量HADOOP_CONF_DIR或YARN_CONF_DIR已经设置 在YARN集群中运行Spark应用程序的命令：,Spark的YARN模式部署,要运行在YARN上：,MapReduce编程模型,MapReduce将整个运行过程分为两个阶段：Map阶段和Reduce阶段 Map阶段由一定数量的Map Task组成 输入数据格式解析：InputFormat 输入数据处理：Mapper 数据分组：Partitioner Reduce阶段由一定数量的Reduce Task组成 数据远程拷贝 数据按照key排序 数据处理：Reducer 数据输出格式：OutputFormat,MapReduce编程模型,欢迎访问我们的官方网站 ,
