Azkaban实战-MapReduce任务

2019-06-02

字数统计: 113 | 阅读时长≈ 1 分钟

mapreduce任务依然可以使用azkaban进行调度

1.创建job描述文件，及mr程序jar包

1	vi mapreduce.job

添加内容：

1
2
3

#mapreduce job
type=command
command=/opt/module/hadoop-2.8.4/bin/hadoop jar /opt/module/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /wordcount/input /wordcount/output

2.将所有job资源文件打到一个zip包中

1	zip mapreduce.zip mapreduce.job

adding: mapreduce.job (deflated 43%)

3.在azkaban的web管理界面创建工程并上传zip包

4.启动job

5.查看结果

打赏

版权声明： 本博客所有文章除特别声明外，著作权归作者所有。转载请注明出处！