Job 作业的使用--创建、查看、执行、删除 | 学习笔记

简介: 快速学习 Job 作业的使用--创建、查看、执行、删除

开发者学堂课程【Sqoop 企业级大数据迁移方案实战Job 作业的使用--创建、查看、执行、删除】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/718/detail/12845


Job 作业的使用--创建、查看、执行、删除


本节学习 Sqoop 中的 job。Job:作业,可以理解是 sqoop 当中的导入导出命令,可以暂时的创建保存起来。当下先不执行,在后期需要时选择指定的 Job 执行。

例如每天凌晨都要进行数据的导入操作,此时可以每天自己定闹钟爬起来做,也可以将这个命令创建出一个 Job,利用其他的调度软件工具让它每天定时的执行 Job,相当于把导入导出的命令创建悬挂起来。Job 的使用就是从创建验证检测到执行。

1.job 语法

$sqoop job(generic-args)(job-args)

[--[subtool-name](subtool-args)]

$sqoop-job (generic-args)(job-args)

[--[subtool-name](subtool-args)]

2.创建 job

在这里,我们创建一个名为 itcastiob,这可以从 RDBMS 表的数据导入到 HDFS 作业。

下面的命令用于创建一个从 DB 数据库的 emp 表导入到 HDFS 文件的作业。

bin/sqoop job --create itcastjob -- import --connect jdbc:mysql://node-1:3306/userdb\    //itcastjob 名字可以指定,-- import 表示导入,固定参数导入 mysql 地址、用户名、密码、路径

--username root \

--password hadoop\

--target-dir/sqoopresult555\

--table emp --m 1

注意 import 前要有空格

打开服务器,复制粘贴上述代码

运行结果报错:

image.png

说明已经存在同名的 job,可以修改 itcastjob1,重新复制执行

结果运行成功,已经保存了 job,但没有立即执行,说明 job 的作业不是手动命令回车执行。

创建好 job 后可以使用--list 参数进行查看。

--list 参数用来验证保存的作业。命令:bin/sqoop job --list

复制代码到服务器中,结果显示如图:

image.png

当前可用的 job 为两个,这样就能显示出当下系统中所保存的 job。

可用使用--show 参数检查作业。

--show 参数用于检查或验证特定的工作及其详细信息,命令:bin/sqoop job --show myjob

在服务器中输入代码:

bin/sqoop job --show itcastjob1

执行显示出一个命令行需要输入 password,此处密码为 mysql 密码。(创建作业时指定的密码官方不建议使用)

输入密码后显示出 itcastjob1的相关信息:创建时间、连接数据库等。

Job 创建完成后进行执行,通过--exec 参数。

--exec 选项用于执行保存的作业。命令:bin/sqoop job --exec myjob

服务器上输入代码:

bin/sqoop job --exec itcastjob1

继续输入密码。开始执行 job,执行底层数据导入的操作,将之前执行的命令悬挂起来必须我们来执行才能执行。可用借助其它调度工具通过 bin/sqoop job --exec itcastjob1进行执行。

结束后结果显示导出7条记录。

导出后进行验证,打开浏览器查看

image.png

以上就完成了作业的执行。

如果想要了解 job 的其它命令,可以通过--help 来查看:

bin/sqoop job --help

其中有相关参数的解释:

image.png

例如--create 创建 job--delete 删除 job--list 连接到哪里。例如删除刚才的 job,在服务器上输入

bin/sqoop job -- delete itcastjob

回车后就进行删除,可用使用--list 来查看,输入

bin/sqoop job -- list

image.png

任务列表中只剩下了 itcastjob1

相关文章
|
存储 SQL 缓存
Hadoop入门(一篇就够了)
Hadoop入门(一篇就够了)
25777 4
Hadoop入门(一篇就够了)
|
Shell 数据安全/隐私保护
执行jobs命令查看不到任务的原因终于找到了
背景 执行nohup command &后,断开终端,执行jobs命令查看不到任务的原因,终于找到了。 首先执行完如下步骤: 1.nohup scp user@server:path/file localpath 2.输入密码 3.按Ctrl+Z挂起当前进程 4.使用命令bg让挂起的进程继续运行
|
SQL 分布式计算 关系型数据库
Sqoop入门(一篇就够了)
Sqoop入门(一篇就够了)
7998 3
Sqoop入门(一篇就够了)
|
SQL 分布式计算 关系型数据库
Sqoop数据导入到Hive表的最佳实践
Sqoop数据导入到Hive表的最佳实践
|
数据可视化 关系型数据库 MySQL
【MySQL】MySQL8.0 创建用户及授权 - 看这篇就足够了
本文介绍了在MySQL 8.0+版本中创建和管理用户的详细步骤,包括通过命令行进入MySQL、创建数据库、用户及授权等操作,并提供了具体命令示例。适合初学者参考学习,帮助实现系统的权限管理和安全控制。
6449 3
【MySQL】MySQL8.0 创建用户及授权 - 看这篇就足够了
|
存储 机器学习/深度学习 数据采集
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
|
12月前
|
消息中间件 存储 Java
Kafka 如何避免重复消费?
在Apache Kafka中,避免消息的重复消费是确保数据准确处理的关键。本文详细介绍了七种避免重复消费的方法:使用消费者组、幂等生产者、事务性生产者与消费者、手动提交偏移量、外部存储管理偏移量、去重逻辑及幂等消息处理逻辑。每种方法均有其优缺点,可根据实际需求选择合适方案。结合消费者组、手动提交偏移量和幂等处理逻辑通常是有效策略,而对于高一致性要求,则可考虑使用事务性消息。
1750 0
|
消息中间件 存储 供应链
数据仓库介绍与实时数仓案例
1.数据仓库简介 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。
43565 86
|
Java Linux DataX
DataX入门指南:快速部署和安装指南
DataX入门指南:快速部署和安装指南
3642 2
DataX入门指南:快速部署和安装指南
|
算法 Apache 数据库
Sqoop的增量数据加载策略与示例
Sqoop的增量数据加载策略与示例