Azkaban实战-多job工作流案例

2019-06-02

字数统计: 176 | 阅读时长≈ 1 分钟

0.数据源：

word.txt:

AAA
BBB
DDD
CCC
AAA
Movle
Kai Movle
BBB yue

word.txt

1.创建有依赖关系的多个job描述

(1)第一个job：1.job

vi 1.job

添加内容：

1 2	type=command command=/opt/module/hadoop-2.8.4/bin/hadoop fs -put /opt/module/datas/word.txt /

(2)第二个job：2.job依赖1.job

vi 2.job

添加内容：

1
2
3

type=command
command=/opt/module/hadoop-2.8.4/bin/hadoop jar /opt/module/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /word.txt /out
dependencies=1

2.注意：将所有job资源文件打到一个zip包中

3.在azkaban的web管理界面创建工程并上传zip包

4.查看结果

结果-查看对word.txt进行wordcount的结果
2.job的运行结果

思考：

将student.txt文件上传到hdfs，根据所传文件创建外部表，再将表中查询到的结果写入到本地文件

打赏

版权声明： 本博客所有文章除特别声明外，著作权归作者所有。转载请注明出处！