《oozie作业调度》由会员分享，可在线阅读，更多相关《oozie作业调度（18页珍藏版）》请在金锄头文库上搜索。
1、什么是Oozie ?,1.Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎,用于运行Hadoop Map/Reduce和Pig 任务工作流.同时Oozie还是一个Java Web程序,运行在Java Servlet容器中。 2.Oozie工作流中的任务是在远程运行，Oozie负责任务的调度分发，将资源发送到JOB的运行环境。 3.Oozie工作流中拥有多个Action,所有的Action以有向无环图（DAG). 4.Oozie工作流通过HPDL来构造。 5.oozie是基于hadoop的调度器，以xml的形式写调度流程，可以调度java，pig，hive，shell，j
2、ar等等。 6.Oozie工作流中包含可控制的工作流节点(control flow node)和Action节点(action node)。,主要的功能有:,Workflow： 顺序执行流程节点，支持fork（分支多个节点），join（合并多个节点为一个） Coordinator，定时触发workflow Bundle Job，绑定多个coordinator,怎么使用Oozie ?,Oozie工作流程图,Oozie工作流程定义,Oozie 工作流是控制依赖有向非循环图 (DAG) 中安排的 Oozie 操作的集合。控制依赖（Control dependency）可确保以下操作在前面的操作已成功
3、完成后才会启动。 控制流节点：可以定义开始（start）,结束(end),错误(fail)节点，也提供控制工作流的执行过程，如选择（decision）,并行(fork),join接点。 DAG由控制流节点或动作节点组成，各个节点又是通过箭线互相连通。 在Oozie中工作流的状态有几种：PREP(准备状态)，RUNNING（运行），SUSPENDED（挂起），SUCCEEDED（成功），KILLED（杀死），FAILED（失败）。,控制流节点,1. 启动控制节点：是工作流作业的入口点。在工作流启动时，它会自动过渡到启动过程中指定的节点。 2. 末端控制节点：是结束工作流作业时所用的节点。它表示工
4、作流操作已经成功完成。一个工作流定义必须有一个末端节点。 3. 停止控制节点：可使工作流作业自行停止。在到达停止节点（kill node）时，如果工作流作业启动的一个或更多操作正在运行，那么当前运行的所有操作都将停止。工作流定义可以包含零个或更多停止节点。 Sqoop failed, error message$wf:errorMessage(wf:lastErrorNode() ,控制流节点,4.decision 决策控制节点：可使工作流确定要采用的执行路径。决策节点的工作原理类似于拥有一组谓词转换对（predicates-transition pair）和一个默认转换的 switch-ca
5、se 块。谓词是按顺序进行评估的，直至其中一个评估为 ture 为止，同时还会进行相应的转换。如果没有一个谓词被评估为 true，则会采用默认转换。 $wf:actionData(hiveSwitch)paramNum eq 1 ,控制流节点,5.分支-联接控制流节点（fork.join）-并发执行任务 ,动作节点(Aciton),工作流程定义中，能够发出一个计算任务或者处理任务执行的节点称为动作节点 动作 的基本特性： 1.远程执行： 对Oozie来说，动作节点的执行都是远程的，因为Oozie可能部署在一个单独的服务器上，而工作流Job是在Hadoop集群的节点上执行的。即使Oozie在Ha
6、doop集群的某个节点上，它也是处于与Hadoop进行独立无关的JVM示例之中（Oozie部署在Servlet容器当中）。 2.异步性：动作节点的执行，对于Oozie来说是异步的。Oozie启动一个工作流Job，这个工作流Job便开始执行。Oozie可以通过两种方式来探测工作流Job的执行情况：一种是基于回调机制，对每个任务的执行（可以看成是动作节点的执行）都对应一个唯一的URL，如果任务执行结束或者执行失败，会通过回调这个URL通知Oozie已经完成；另一种就是轮询，Oozie不停地去查询任务执行的完成状态，如果由于网络故障回调机制失败，也会使用轮询的方式来处理。 3.执行结果要么成功，要么
7、失败 ,如果动作节点执行成功，则会转向ok节点；如果失败则会转向error节点。 4.可恢复性：如果一个动作节点执行失败，Oozie提供了一些恢复执行的策略，这个要根据失败的特点来进行：如果是状态转移过程中失败，Oozie会根据指定的重试时间间隔去重新执行；如果不是转移性质的失败，则只能通过手工干预来进行恢复；如果重试恢复执行都没有解决问题，则最终会跳转到error节点。,oozie格式,写一个Oozie,有两个是必要的：job.properties和workflow.xml 1、job.properties里定义环境变量,工作流生命周期,Oozie shell 操作,可以将 Oozie sh
8、ell 操作作为工作流的一部分进行配置，从而运行某个文件中的一组 shell 脚本。您可以利用包含必要参数的 job-tracker、name-node 和 exec 元素来配置 Oozie shell 操作，从而执行相关的任务，如清单 6 所示。您可以将具有配置参数的一个配置 shell 操作来创建或删除 HDFS 上的文件和目录，然后启动 shell 作业。您可以使用与配置元素内联的 job-xml 元素，利用配置参数将一个 XML 文件传递给 shell 作业。您可以配置其他文件或归档文件，让它们可用于 shell 作业。在 shell 作业结束后，您可以让 shell 作业的输出可供
9、workflow 作业使用，但它需要满足以下条件： 输出的格式必须是一个有效的 Java 属性文件。 输出的大小必须小于 2KB。,Oozie Java 操作,Java 操作运行了指定的主要 Java 类的 public static void main (String args) 方法。Java 应用程序作为具有单个 mapper 任务的 MapReduce 作业运行在 Hadoop 集群上。工作流作业一直要等到 Java 操作结束运行之后才能继续执行下一个操作。Java 操作可使用 job-tracker、name-node、Java 主类、JVM 选项和输入参数进行配置，如清单 9 所示
10、。您可以使用 Expression Language (EL) 表达式将参数分配给内联属性值。您必须以 Java 属性文件的格式写入所有输出参数。 您可以配置 Java 操作来清理 HDFS 文件和目录，或者建立 Apache HCatalog 分区，然后再启动 Java 应用程序。这使得 Oozie 能够在出现暂时性或非暂时性故障时重试 Java 操作。,Oozie Hive 操作,可以配置 Hive 操作,来执行 HDFS 上的文件和目录中的任何 Hive 脚本。该操作启动了一个 MapReduce 作业来完成这些任务。您需要在 Oozie 上配置 Hive 操作，使用 Hive 配置文件
11、 hive-default.xml 或 hive-site.xml 作为 job-xml 元素。对于支持 Hive 访问 Oozie 环境而言，这一点是必需的。您可以配置 Hive 操作来创建或删除 HDFS 文件和目录，然后再启动 Hive 作业。configuration 元素中指定的属性值将会覆盖 job-xml 文件中指定的值。您可以添加其他的文件和归档文件，让它们可用于 Hive 作业。Oozie 执行了由脚本元素中的路径指定的 Hive 脚本。您可以通过 Oozie 工作流，将参数作为输入参数分配给 Hive 脚本。,注意事项：,运行Oozie应用时，作业的配置文件，jar包，相关
12、程序代码，不如hive ql要放在HDFS上，只有属性文件(job.properties)放在本地磁盘。,怎么运行Oozie ?,oozie运行,启动任务： Java代码 oozie job -oozie http:/xxx5:11000/oozie -config job.properties -run 停止任务： oozie job -oozie http:/localhost:8080/oozie -kill 14-20090525161321-oozie-joe 注意：在停止任务的时候，有的时候会出现全线问题，需要修改oozie-site.xml文件 hadoop.proxyuser.oozie.groups * hadoop.proxyuser.oozie.hosts * oozie.server.ProxyUserServer.proxyuser.hadoop.hosts * oozie.server.ProxyUserServer.proxyuser.hadoop.groups *,
