1、创建job描述文件
# fs.job type=command command=/home/hadoop/apps/hadoop-2.6.1/bin/hadoop fs -mkdir /azaz
2、将job资源文件打包成zip文件
3、通过azkaban的web管理平台创建project并上传job压缩包
4、启动执行该job
69 Azkaban HDFS操作任务
2023-11-01
43
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
69 Azkaban HDFS操作任务
目录
相关文章
|
6月前
|
Java
API
Maven
|
SQL
分布式计算
DataWorks
|
分布式计算
Java
Hadoop
|
1月前
|
分布式计算
资源调度
Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
50
1
1
|
4月前
|
分布式计算
Hadoop
关系型数据库
实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时，无法在所有指定的数据节点上进行复制，该如何解决
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
261
1
1
|
5月前
|
Java
大数据
API
|
5月前
|
分布式计算
Hadoop
Java
|
6月前
|
分布式计算
IDE
Hadoop
|
6月前
|
分布式计算
Java
大数据
|
存储
分布式计算
Hadoop
热门文章
最新文章
1
HDFS－Architecture剖析
2
Hadoop 2.x HDFS和YARN的启动方式
3
基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制
4
HDFS的linux下开发环境准备
5
Hadoop大象之旅009-通过Shell操作hdfs
6
给 admin 新建的 hdfs 文件的权限
7
Hadoop HDFS概念学习系列之两个和HDFS读写操作最为密切的Hadoop包（二十）
8
HDFS的文件操作
9
使用oracle的大数据工具ODCH访问HDFS数据文件
10
HDFS块文件和存放目录的关系
1
ClickHouse(22)ClickHouse集成HDFS表引擎详细解析
146
2
程序技术好文：深刻理解HDFS工作机制
35
3
分布式系统详解--框架（Hadoop-HDFS的HA搭建及测试）
65
4
分布式系统详解--框架（Hadoop--JAVA操作HDFS文件）
46
5
Hadoop的HDFS数据均衡
240
6
实时计算 Flink版产品使用问题之独立集群与hdfs集群不在一起，何配置checkpoint目录为hdfs
58
7
实时计算 Flink版产品使用问题之把hdfs集群里的core-site.xml hdfs.xml两个文件放到flink/conf/目录下，启动集群说找不到hdfs，该如何解决
79
8
Hadoop生态系统详解：HDFS与MapReduce编程
211
9
Hadoop分布式文件系统（HDFS）的基本需求
98
10
【大数据】HDFS、HBase操作教程（含指令和JAVA API）
148