Job 作业的使用--免密执行 | 学习笔记

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 快速学习 Job 作业的使用--免密执行

开发者学堂课程【Sqoop 企业级大数据迁移方案实战Job 作业的使用--免密执行】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/718/detail/12846


Job 作业的使用--免密执行


本节介绍 Job 作业的免密执行。之前创建 job 查看甚至执行时,发现即使指定了--password,最后还是要输入一次mysql 的密码。推荐使用另外一种方式来避免该问题的出现,该参数为--password-file。从参数名上看它是一个文件的一个密码,要求文件路径指定的文件必须位于我们的 HDFS 上,而且它的权限必须是400权限。最重要的一点:在服务中必须有这类属性存在允许 sqoop 将密码放在 sqoop 存储上。

接下来开启 job 的免密操作:

1、首先创建密码文件,该密码文件存放在 HDFS 上。

打开服务器,输入

echo -n “hadoop”> itcastmysql.pwd    //使用 cho 将密码追加进入

hadoop fs -mkdir -p /input/sqoop/pwd  //创建保存密码的路径

hadoop fs -put itcastmysql.pwd /input/sqoop/pwd///将保存的密码上传在该路径下

查看当前文件在哪个路径下,刷新浏览器访问,点击 input 数据,点击到最后:

image.png

会发现当前权限并不是400,接着修改权限,输入

hadoop fs -chmod 400 /input/sqoop/pwd/itcastmysql.pwd

修改完成后该文件的权限发生变化。

2、检查 sqoop sqoop-site.xml 是否存在如下配置:

输入cd conf/

ll

结果中存在 sqoop-site.xml,再来打开 sqoop-site.xml,输入

vim sqoop-site.xml

并没有相关参数,将如下代码复制粘贴在文件尾部:

<property>

<name>sqoop.metastore.client.record.password</name>

<value>true</value>

<description>If true. allow saved passwords in the metastore.

</description>

</property>

相当于添加了一个新的参数,允许存放密码文件

保存完成后再来创建 job 执行就不会使用密码。

3、创建 sqoop job

在服务器上输入 cd..

复制粘贴如下代码:

bin/sqoop job --create itcastjob2 -- import--connect jdbc:mysql://node-1-1:3306/userdb \

--username root \

--password-file /input/sqoop/pwd/itcastmysg1.pwd\ //与之前--password hadoop\不同,新增文件,该文件则是上传保存的文件

--target-dir /sqoopresu1t666\

--table emp --m1

创建好 job 再来执行 job,会发现不需要密码。

输入 bin/sqoop job -exec itcastjob2

回车发现没有 Enter password 选项。

如果不想每次输密码或调用其它软件不方便输入密码时可以打开权限,实际上这种操作更加安全,不能看到明文密码。如果不想每次输密码并且发出警告,就可以把密码保存在 HDFS 上,注意:要求权限必须是400才可以,并且确保在事务中这一个选项打开。<description>If true. allow saved passwords in the metastore 如果为 true,允许保存密码在 metastore 存储,也就是 HDFS 路径上。以上就是免密执行 sqoop 作业的操作。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
前端开发 JavaScript API
020 Umi@4 中如何实现动态菜单
020 Umi@4 中如何实现动态菜单
1286 0
020 Umi@4 中如何实现动态菜单
|
安全 网络协议 算法
电脑病毒木马的清除和防范方法
电脑病毒木马的清除和防范方法
2832 0
电脑病毒木马的清除和防范方法
|
弹性计算 人工智能 运维
全面上云这条路,洋葱学院已经走了近7年
洋葱学院需要确保业务稳定性,采用阿里云容器服务与云数据库融合解决方案,在应用不变的情况下,快速平稳实现扩容的问题!
8526 87
全面上云这条路,洋葱学院已经走了近7年
|
存储 SQL Prometheus
SLS数据加工完成Log到Metric的转换
简介: # 使用数据加工将Log转成Metric ## 云原生时代的可观察性 我们关注应用运行起来后的运行时数据,主要有Log、Trace和Metric 这3大类。 Log是离散的事件,Trace可以认为是带请求追踪的事件,Metric是带统计量的事件。
697 1
|
弹性计算 对象存储 CDN
阿里云账号实名认证教程方法(快速实名)
阿里云账号注册后要通过实名认证才可以购买云服务器、对象存储OSS、CDN、域名等产品,阿里云百科以个人是名人未来,里
2202 0
阿里云账号实名认证教程方法(快速实名)
|
机器学习/深度学习 数据采集 编解码
OCR文字识别技术总结(二)
总结: 以上第一部分介绍我国OCR发展历程,从过程中可以发现,我国的光学字符识别研究相对国外起步较晚,但是发展十分迅速。从早期简单的单体识别发展到多种字体混合排列的多体识别,从中文印刷材料的识别发展到中英文混排印刷材料的双语言识别, 目前各个系统都可以支持简、繁体汉字的识别,同时支持中, 英,韩等多国文字的识别系统,对于简单版面可以进行效的定量分析,同时汉字识别率已经可以达到98%以上,以下第二部分将从不同字体展开对OCR技术描述。
1459 0
OCR文字识别技术总结(二)
|
前端开发 jenkins Java
jenkins持续集成从0入门到实战【二】安装插件和凭证配置
Jenkins的插件生态非常强大,能覆盖我们所必须用到的功能,同时凭证也是相当的灵活,一起来学习吧。
528 0
jenkins持续集成从0入门到实战【二】安装插件和凭证配置
【计算机系统】阵列处理机、并行处理机和多处理机
【计算机系统】阵列处理机、并行处理机和多处理机
1155 0
【计算机系统】阵列处理机、并行处理机和多处理机
|
存储 大数据 调度
液冷那些事|第一期:风冷 OR 液冷?
【走进液冷】第一期:风冷 OR 液冷?
液冷那些事|第一期:风冷 OR 液冷?
|
机器学习/深度学习 人工智能 自然语言处理
7.5亿美元做代码转换?一个Facebook TransCoder AI就够了!
代码的迁移和语言转换是一件很困难且昂贵的事情,澳大利亚联邦银行就曾花费5年时间,耗费7.5亿美元将其平台从COBOL转换为Java。而Facebook最近宣称,他们开发的一种神经转换编译器(neural transcompiler),可以将一种高级编程语言(如C ++,Java和Python)转换为另一种,效率飞起!
864 0
7.5亿美元做代码转换?一个Facebook TransCoder AI就够了!