开发者学堂课程【新电商大数据平台2020最新课程：电商项目之 Sqoop 的 Shell 脚本编写】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/640/detail/10504
电商项目之 Sqoop 的 Shell 脚本编写
从 MicroCircle 导入到 Ods，ods 实现了一张表
整体的导入比较简单去，只是做全量导入，没有去做一些增量，增量。
导入该如何导：
按照什么去增，一般按照一些母件 K，执行段去增。
例如：
一小时增加一次或者导入时候按照天去增加。
导入需注意：
导入 Scoop 的时候，增量全量会经常用
打开文档进行观看：
数据仓库的 file 和同步文档，将如下几个表数据导入到 ods，脚本执行在这里都有了，脚本写上一个上写本直接跑任务就可以了，这几个脚本都需要进行一定的处理，跑完之后安装一个 Azkaban ，进行一个任务调度。
scoop 任务
1. 依次进行导入，把它 copy 一下，就是脚本
然后写一个摄入脚本，在这里进行编写
比如：
vim scoop.sh，把它全部放在里面，但要保证有环境变量，保存之后执行：sh swoop.sh,之后等待，依次导入 HIver 当中，首先得创建一个表，复制一个链接，稍等片刻。
有一个错误的地方，没有找到拒接链接，服务没有开,MySQL 拒绝链接，每个都停一下，打开 MYSQL，应该是 IP 变了，是192.168.102，修改 IP
需要利用 Azkaban 调动 scoop，这些任务需要工作流量调动器来去执行 shell，，现在编写好 shell 只需要直接用 scoop 跑它的 job 任务。
这里有 Azkaban 的文件，下一步进行安装讲解一下 Azkaban 的官网， Azkaban 进行 scoop 的任务调度就可以了，MYSQL 链接没连上，改错一个地方，在这是一个“3306”，等一下之后将剩余的其它依次导入进去就可以了，然后去编写一下 shell ，放到 shell 中，进行执行，shell 有问题,上面没有加一些注释，不能成功执行，不能植入 shell，所以把它编辑好后修改一下，这块加上对应的脚本，上面写上就可以调度了，这是 bin 然后是 bash ，同样的问题，搞定之后把这个数据，导入成功，这次因为把它里面东西删了才会报一个根源数据有关的一个问题，这主要是编写一下 scoop shell，然后进行导入。
