开发者学堂课程【新电商大数据平台2020最新课程:电商项目之 AzKaban 案例(2.X 案例3)】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/640/detail/10510
电商项目之 AzKaban 案例(2.X案例3)
内容介绍
一、 新建脚本
二、调度操作
一、 新建脚本
新建一个文件脚本,也就是 名称+.job 形式,把 sqoop 中的命令或代码转移到脚本中。
因此,需要新建一个 sqoop 文件,提前写好命令。
二、调度操作
在 job 中第一行输入 type=command ,
在第二行输入 command=sh sqoop.sh 。注意文件名称 。
在编写 sqoop ,要与脚本相对应。第一行输入 #!/bin/bash 第三行后输入sqoop import \
--connect jdbc:mysql://192.168.0.2:3306/nshop \
--username root\
--password 1234561\
--table customer\
--hive-import \
--hive-overwrite\
--hive-table ods_ nshop.ods_ 02_ customer \
-m 1
注意:
要把下方 windows(CRLF) 换成Unix 。
然后对两个文件进行打包,然后压缩成一个包 命名为 sqoop.zip ,然后在浏览器中打开 Azkban Test ,点击 Upload 找到还压缩包,打开再点击 Upload 。
点击 Execute Flow 打开页面,点击下方 Excute 让其执行。然后等待执行结果,如果有错误在进行修改。
如图,说明任务成功。