作业调度中心Apache Airflow二次开发初体验

简介: 作业调度中心Apache Airflow二次开发初体验

1   开发环境

Python 3.6

Chrome 79以上版本

2   开发工具

Jetbrains pycharm 2019.3

image.png

3   开发语言与架构

作业调度中心采用前后端分离方式进行设计,后端采用python、前端基于flask框架开发。前后端数据访问采用同步与异步通讯相结合的方式进行实现。

 

4    数据库初始化

4.1        修改配置文件ariflow.cfg

image.png

4.2        使用命令初始化数据库

1     #初始化数据库  

2     airflow initdb  

5   项目加载方式

通过Jetbrains pycharm 打开项目文件夹即可

6    项目启动方式

7    点击Jetbrains pycharm上方启动按钮即可。

 image.png


8   项目Debug方式

点击Jetbrains pycharm上方Debug按钮即可。

image.png

9   项目打包方式

项目无须打包,修改代码后,直接替换对应的文件即可使用。

 

10  项目访问方式

访问如下地址进行测试

http://部署服务器ip:8080

默认无须登录

 image.png


目录
相关文章
|
23天前
|
监控 数据处理 调度
使用Apache Airflow进行工作流编排:技术详解与实践
【6月更文挑战第5天】Apache Airflow是开源的工作流编排平台,用Python定义复杂数据处理管道,提供直观DAGs、强大调度、丰富插件、易扩展性和实时监控。本文深入介绍Airflow基本概念、特性,阐述安装配置、工作流定义、调度监控的步骤,并通过实践案例展示如何构建数据获取、处理到存储的工作流。Airflow简化了复杂数据任务管理,适应不断发展的数据技术需求。
|
11天前
|
Kubernetes Oracle 关系型数据库
实时计算 Flink版操作报错合集之用dinky在k8s上提交作业,会报错:Caused by: org.apache.flink.table.api.ValidationException:,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
102 0
|
缓存 资源调度 分布式计算
Apache Flink 进阶(六):Flink 作业执行深度解析
主要分享内容为 Flink Job 执行作业的流程,文章将从两个方面进行分享:一是如何从 Program 到物理执行计划,二是生成物理执行计划后该如何调度和执行。
Apache Flink 进阶(六):Flink 作业执行深度解析
|
1月前
|
消息中间件 Java Kafka
Apache Hudi + Flink作业运行指南
Apache Hudi + Flink作业运行指南
190 1
|
机器学习/深度学习 存储 Kubernetes
如何将 Apache Airflow 用于机器学习工作流
Apache Airflow 是一个流行的平台,用于在 Python 中创建、调度和监控工作流。 它在 Github 上有超过 15,000 颗星,被 Twitter、Airbnb 和 Spotify 等公司的数据工程师使用。 如果您使用的是 Apache Airflow,那么您的架构可能已经根据任务数量及其要求进行了演变。 在 Skillup.co 工作时,我们首先有几百个 DAG 来执行我们所有的数据工程任务,然后我们开始做机器学习。
|
存储 Kubernetes 监控
大规模运行 Apache Airflow 的经验和教训
Sam Wheating,来自加拿大不列颠哥伦比亚省温哥华的高级开发人员。供职于 Shopify 的数据基础设施和引擎基础团队。他是开源软件的内部倡导者,也是 Apache Airflow 项目的贡献者。
1081 0
大规模运行 Apache Airflow 的经验和教训
|
关系型数据库 MySQL 调度
作业调度中心Apache Airflow部署初体验
作业调度中心Apache Airflow部署初体验
1084 0
作业调度中心Apache Airflow部署初体验
|
Apache Python 调度
Apache AirFlow开篇
1.简述 Airflow Platform是用于描述,执行和监控工作流的工具。基于有向无环图(DAG),airflow可以定义一组有依赖的任务,按照依赖依次执行;airflow提供了丰富的命令行工具用于系统管控,而其web管理界面同样也可以方便的管控调度任务,并且对任务运行状态进行实时监控,方便了系统的运维和管理。
2657 0
|
关系型数据库 MySQL Apache
Apache AirFlow安装部署
1.环境依赖 Centos7 组件 版本 Python 2.7.5 AirFlow 1.10.5 pyhton依赖库 (airflow) [bigdata@carbondata airflow]$ pip list DEPRECATION: Python 2.
3963 0

推荐镜像

更多