电商项目之 AzKaban 案例(2.X 任务)|学习笔记

简介: 快速学习电商项目之 AzKaban 案例(2.X 任务)

开发者学堂课程【新电商大数据平台2020最新课程电商项目之 AzKaban 案例(2.X 任务)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/640/detail/10508


电商项目之 AzKaban 案例(2.X 任务)


内容介绍

一、创建一个工程

二、查看新建任务

 

一、创建一个工程

AzKaban 官网创建一个 Create Project ,即创建一个工程。点击进入,例如,在 Name 一栏输入 Azkaban Test , Description 一栏输入 this is Azkaban ,再点击右下角 create project 即进入 Project Azkaban Test 页面。

但这里没有任何的任务,显示 No Flows ,因此,在右上角的红色框内会有 Delete Project ,点击,就可删除当前的工程。

注意:

如果删除,这个工程就不存在了,也不必要去删除。右上角蓝色框内有 Upload 即上传,天蓝色框内有 Download 即下载你所上传的任务。因为没有任务,首先要上传一个任务。

新建一个文本文档,编辑一个案例。文件名称为 command.job 。

注意:

在 Azkaban 中文件名称都是以.job 结尾,即代表一个任务。打开文件,打开方式选择 Notepad++:a free(GNU) source code editor ,勾选下方框然后点击确定。

进入后 1. type=command 2.command=echo “Hello Azkaba~~”,然后保存。

注意:要顶格写,不要空格,不要回车。然后对文件进行打包,打包后再删除文件。

如果在写的过程中有错误,文件可以不删除。 点击 Upload 在本地文件中找到打包文件,选中然后点击右下角 upload 按钮。完成上述步骤,在这个原工程中可以看到 Execute Flow ,即可以执行的工程。点击 command 和右下角 Exacte 让其运行。

command 框显示绿色时即执行成功。在 Execution 3中, Flow Tigger List 是执行列表, Job List 是账目列表。

Flow Log 是任务的 Log 。Stats 是状态。

Execution 3表示执行了3次。退回在 Executions 中看到3次中哪次执行成功,哪次执行失败。执行时没有任务,在最后倒数第二行后加 cd plugins ,在 cd plugins 里加 Azkaban native lib=false 让其不要启动。因此任务完成了。

 

二、查看新建任务

在计算机首页点击 Navicat for MySQL ,用鼠标点击右键,然后刷新可看到原数据。

例如选中 projects 这个文件可看到之前新建的 Azkban Test 任务。

选中 project_versions 可看到执行的任务次数。选中 project_files 可看到任务的时间和大小。

选中 executers 可看到任务的账户。选中 execution_jobs 可到看任务列表。

相关文章
|
分布式计算 Java Hadoop
Scala入门必刷的100道练习题(附答案)
Scala入门必刷的100道练习题(附答案)
1222 1
|
SQL 关系型数据库 MySQL
SQL在线美化工具
SQL 在线美化工具是一款智能代码格式化工具,专为开发者、数据分析师及数据库管理员设计。支持自动缩进、语法高亮、关键字优化(大写/小写)及语法错误提示,兼容MySQL、PostgreSQL等多种SQL方言,可快速将杂乱SQL语句转换为专业易读的格式,提升代码维护效率和团队协作体验。
1107 19
|
SQL 缓存 测试技术
构建高性能RESTful API:最佳实践与避坑指南###
—— 本文深入探讨了构建高性能RESTful API的关键技术要点,从设计原则、状态码使用、版本控制到安全性考虑,旨在为开发者提供一套全面的最佳实践框架。通过避免常见的设计陷阱,本文将指导你如何优化API性能,提升用户体验,确保系统的稳定性和可扩展性。 ###
490 12
|
运维 监控 网络协议
Linux抓包命令tcpdump使用技巧大全
【7月更文挑战第10天】
1225 5
Linux抓包命令tcpdump使用技巧大全
|
前端开发 异构计算 API
探索Stable Diffusion:从零开始的代码接入创意图像生成指南
探索Stable Diffusion,了解这一图像生成技术,适用于创意设计、内容生成和前端应用。本文从基本概念到实战,教你如何用Python和相关库搭建环境,通过GPU加速,生成基于文本提示的图像。学习多样性和风格融合技巧,解决实践中遇到的问题,如内存溢出和图像模糊。前端开发者可将模型部署为API,实现实时动态图像生成,提升用户体验。一起发掘Stable Diffusion在艺术和设计领域的无限潜力!
979 2
|
消息中间件 监控 Kafka
【Kafka】分区副本中的 Leader 如果宕机但 ISR 却为空该如何处理
【4月更文挑战第12天】【Kafka】分区副本中的 Leader 如果宕机但 ISR 却为空该如何处理
|
SQL 存储 数据库
深入理解 SQL UNION 运算符及其应用场景
【7月更文挑战第8天】SQL UNION 概述 `UNION` 运算符结合多个`SELECT`语句,生成不含重复行的结果集。基本语法是:`SELECT...FROM table1 UNION SELECT...FROM table2`。适用于整合相同结构数据表、不同条件查询结果及跨数据库数据。注意列数和数据类型需匹配,排序规则一致,大量操作可能影响性能。示例:合并`Students_Math`和`Students_Science`表中`StudentID`和`Grade`的数据。
690 0
|
资源调度 容器 流计算
Flink on YARN(上):一张图轻松掌握基础架构与启动流程
本文基于FLIP-6重构后的资源调度模型介绍Flink on YARN应用启动全流程,解答客户端和Flink Cluster的常见问题,分享相关问题的排查思路。
Flink on YARN(上):一张图轻松掌握基础架构与启动流程
|
SQL 存储 Java
Hive教程(06)- Hive SerDe序列化与反序列化
Hive教程(06)- Hive SerDe序列化与反序列化
789 0
|
SQL 资源调度 分布式计算
聊聊 yarn 的三种资源调度器和公平调度器的最佳配置实践
聊聊 yarn 的三种资源调度器和公平调度器的最佳配置实践