电商项目之 AzKaban 案例(2.X 案例3)|学习笔记

简介: 快速学习电商项目之 AzKaban 案例(2.X 案例3)

开发者学堂课程【新电商大数据平台2020最新课程电商项目之 AzKaban 案例(2.X 案例3)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/640/detail/10510


电商项目之 AzKaban 案例(2.X案例3)

 

内容介绍

一、 新建脚本

二、调度操作

 

一、 新建脚本

新建一个文件脚本,也就是 名称+.job 形式,把 sqoop 中的命令或代码转移到脚本中。

因此,需要新建一个 sqoop 文件,提前写好命令。

 

二、调度操作

在 job 中第一行输入 type=command ,

在第二行输入 command=sh sqoop.sh 。注意文件名称 。

在编写 sqoop ,要与脚本相对应。第一行输入  #!/bin/bash 第三行后输入sqoop import \

--connect jdbc:mysql://192.168.0.2:3306/nshop \

--username root\

--password 1234561\

--table customer\

--hive-import \

--hive-overwrite\

--hive-table ods_ nshop.ods_ 02_ customer \

-m 1

注意:

要把下方 windows(CRLF) 换成Unix 。

image.png

然后对两个文件进行打包,然后压缩成一个包 命名为 sqoop.zip ,然后在浏览器中打开 Azkban Test ,点击  Upload 找到还压缩包,打开再点击 Upload 。

点击 Execute Flow 打开页面,点击下方 Excute 让其执行。然后等待执行结果,如果有错误在进行修改。

image.png

如图,说明任务成功。

相关文章
|
Cloud Native Java 数据库
阿里云spring脚手架的优势
阿里云spring脚手架的优势
1739 2
|
消息中间件 IDE Java
阿里云spring脚手架
阿里云spring脚手架
4347 1
|
缓存 JavaScript Cloud Native
阿里云发布 Spring Boot 新脚手架,真香
本文,围绕 spring initializr 框架,以 start.spring.io 为例,全面的给大家介绍如何使用和扩展这个框架,以及背后的运行原理。
56312 1
阿里云发布 Spring Boot 新脚手架,真香
|
Cloud Native IDE Java
阿里云spring脚手架如何接入
阿里云spring脚手架如何接入
1099 2
|
11月前
|
存储 Java 测试技术
一文彻底搞懂阿里开源TransmittableThreadLocal的原理和使用
【10月更文挑战第2天】在Java多线程编程中,线程本地变量(ThreadLocal)是一个非常有用的工具,它能够在每个线程中保存一个独立的变量副本,从而避免多线程环境下的数据竞争问题。然而,在使用线程池等高级多线程技术时,ThreadLocal却面临着一些挑战。为了解决这个问题,阿里巴巴开源了TransmittableThreadLocal(TTL),它扩展了ThreadLocal的功能,使其能够在复杂的多线程环境中正确传递值。本文将深入探讨TTL的原理和使用,帮助读者彻底理解这一技术干货。
1614 0
|
SQL 存储 Apache
Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
4523 59
|
前端开发 安全 JavaScript
中小企业快速迭代首选:基于spring boot的脚手架,GitHub标星6K+
简介 一个基于spring boot的脚手架,并提供完善社区文档教程,中小企业可以用来快速迭代。 您可以阅读文档快速部署上手: 社区文档 项目模块介绍 本地开发部署教程 工具集
|
分布式计算 资源调度 Ubuntu
spark完全分布式部署
spark完全分布式部署
|
分布式计算 Java Scala
Spark随谈(二)—— 安装攻略
本来安装这件事情,不用单独开一篇谈的。但是Spark的安装实在是一件点蛋疼的事情,这和Spark的语言和框架两者有颇大的关系。 Spark是Scala语言写的,所以要先安装Java和Scala,而底层的调度框架是Mesos,Mesos是C++写的,所以又对机器的glibc和gcc环境有一定的要求。
2709 15
|
分布式计算 Java Hadoop
Hadoop
概述: Hadoop概述 Hadoop项目架构 Hadoop安装使用 Hadoop部署使用 Hadoop概述 Apache的开源分布式计算平台。 java开发的跨平台。
1527 0