AI 助理
文档备案控制台
开发者社区 数据库 文章 正文

Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）

2024-03-01 2031
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 【2月更文挑战第7天】Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）

来自官网的介绍：https://airflow.apache.org/ Airflow™是一个由社区创建的平台，以编程方式编写，调度和监控工作流。这个快速入门指南将帮助您在本地机器上引导一个独立的Airflow实例。如果您按照下面的说明安装，Airflow的安装是很简单的。使用约束文件来实现可重复的安装，因此建议使用pip和约束文件。

1.环境变量设置

Airflow需要一个主目录，默认使用~/airflow，但如果您喜欢，可以设置一个不同的位置。AIRFLOW_HOME环境变量用于通知Airflow所需的位置。设置环境变量的这一步应该在安装Airflow之前完成，以便安装过程知道在哪里存储必要的文件。

export AIRFLOW_HOME=~/airflow

2.使用约束文件进行安装

官网给出的文件内容：

AIRFLOW_VERSION=2.7.2

# Extract the version of Python you have installed. If you're currently using a Python version that is not supported by Airflow, you may want to set this manually.
# See above for supported versions.
PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"

CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"
# For example this would install 2.7.2 with python 3.8: https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.8.txt

pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"

本次使用虚拟环境进行安装：

# 创建并切换到airflow虚拟环境
conda create -n airflow python=3.8
conda activate airflow

创建约束文件airflowInstall.sh添加官网给出的内容：

AIRFLOW_VERSION=2.7.2
PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"
CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"
pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"

执行文件即可。也可以使用pip进行安装：

pip install "apache-airflow==2.7.2"

查询版本：

airflow version

3.启动单机版

3.1 快速启动

该命令初始化数据库、创建用户并启动所有组件。

airflow standalone

# 启动成功标志
standalone | Airflow is ready
standalone | Login with username: admin  password: ZUUNtd9ppZZTQuqy
standalone | Airflow Standalone is for development purposes only. Do not use this in production!

3.2 分步骤启动

如果您想手动运行Airflow的各个部分，而不是使用一体化的独立命令，您可以运行：

  1. 该命令用于执行数据库迁移。在使用 Airflow 之前，你需要初始化数据库结构。db migrate 命令会根据你的配置文件创建数据库表格，以便存储任务调度、任务实例、DAG（Directed Acyclic Graph，有向无环图）等信息。运行后的信息：
airflow db migrate

初始化数据库后的输出信息：

DB: sqlite:////root/airflow/airflow.db
Performing upgrade to the metadata database sqlite:////root/airflow/airflow.db
[2023-10-19T14:21:37.687+0800] {
   migration.py:213} INFO - Context impl SQLiteImpl.
[2023-10-19T14:21:37.688+0800] {
   migration.py:216} INFO - Will assume non-transactional DDL.
[2023-10-19T14:21:37.690+0800] {
   db.py:1620} INFO - Creating tables
INFO  [alembic.runtime.migration] Context impl SQLiteImpl.
INFO  [alembic.runtime.migration] Will assume non-transactional DDL.
WARNI [unusual_prefix_911b7e3bced5159145cb88698226ecde6e08c7be_example_kubernetes_executor] The example_kubernetes_executor example DAG requires the kubernetes provider. Please install it with: pip install apache-airflow[cncf.kubernetes]
WARNI [unusual_prefix_008dd7238a3787d68b758fe337b9f566c5014ba3_tutorial_taskflow_api_virtualenv] The tutorial_taskflow_api_virtualenv example DAG requires virtualenv, please install it.
WARNI [unusual_prefix_db2b4614a7fb1ba43706f0a1f2be91e808476bfa_example_python_operator] The virtalenv_python example task requires virtualenv, please install it.
WARNI [unusual_prefix_5624127e5a8d9c88ab5a41d62ecf92869309dd74_example_local_kubernetes_executor] Could not import DAGs in example_local_kubernetes_executor.py
Traceback (most recent call last):
  File "/root/anaconda3/envs/airflow/lib/python3.8/site-packages/airflow/example_dags/example_local_kubernetes_executor.py", line 37, in <module>
    from kubernetes.client import models as k8s
ModuleNotFoundError: No module named 'kubernetes'
WARNI [unusual_prefix_5624127e5a8d9c88ab5a41d62ecf92869309dd74_example_local_kubernetes_executor] Install Kubernetes dependencies with: pip install apache-airflow[cncf.kubernetes]
WARNI [unusual_prefix_f16a910b73b9eed67cbb95faa136bc7fd6c14eb6_workday] Could not import pandas. Holidays will not be considered.
Database migrating done!

2.该命令用于创建 Airflow 的用户。在这个例子中，它创建了一个名为 "admin" 的用户，具有管理员角色（Admin），并提供了一些用户信息，如名字、姓氏、电子邮件等。

airflow users create \
    --username admin \
    --firstname Peter \
    --lastname Parker \
    --role Admin \
    --email spiderman@superhero.org

airflow users create \
    --username test \
    --firstname te \
    --lastname st \
    --role Admin \
    --email testman@superhero.org

Password:
Repeat for confirmation:
[2023-10-19T15:08:26.070+0800] {
   manager.py:211} INFO - Added user %s
User "test" created with role "Admin"

3.该命令启动 Airflow 的 Web 服务器。Web 服务器提供了一个用户界面，你可以通过浏览器访问。--port 8080 选项指定了 Web 服务器监听的端口号，这里是 8080。你可以通过访问 http://localhost:8080 来打开 Airflow Web UI。

airflow webserver --port 8080 -D

4.该命令启动 Airflow 的调度器。调度器负责按照你的 DAG（工作流）定义定期运行任务。它会检查定义的任务调度时间，然后触发相应的任务实例。调度器是 Airflow 中关键的组件之一，确保任务按照计划执行。

airflow scheduler -D

-D: 表示以守护进程（daemon）模式运行。以守护进程模式运行意味着该进程将在后台持续运行，而不占用当前终端。

3.3 启动后

在运行这些命令后，Airflow将创建$AIRFLOW_HOME文件夹，并创建默认值为Airflow .cfg的文件，这将使您快速运行。您可以使用环境变量覆盖默认值，请参见配置参考：https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html。您可以在$AIRFLOW_HOME/airflow.cfg中检查该文件，或者通过Admin->Configuration菜单中的UI检查该文件。如果由systemd启动webserver的PID将存储在$AIRFLOW_HOME/airflow-webserver.pid或/run/airflow/webserver.pid文件中。

files-0.jpg

3.4 服务启动停止脚本

感谢 https://blog.csdn.net/weixin_45417821/article/details/128729413 的分享，脚本airflow-service.sh内容：

#!/bin/bash
case $1 in
"start"){
   
    echo " --------start airflow-------"
    conda activate airflow;airflow webserver -p 8080 -D;airflow scheduler -D;conda deactivate
};;
"stop"){
   
    echo " --------stop airflow-------"
    ps -ef | egrep 'scheduler|airflow-webserver' | grep -v grep | awk '{print $2}' | xargs kill -15
};;
esac

脚本的执行环境为非虚拟环境也就是Linux本Lin，为何要使用source进行执行小伙伴儿们可以自行学习啊：

# 启动
source ./airflow-service.sh start
# 停止
source ./airflow-service.sh stop

4.访问

4.1 登录

在浏览器中访问localhost:8080，并使用终端显示的管理员帐户详细信息登录。

login-0.jpg

4.2 测试

在主页中启用example_bash_operatorDAG。

example-0.jpg
页面的两条信息说明：

  • 开箱即用，Airflow使用SQLite数据库，由于使用此数据库后端不可能实现并行化，因此您应该很快就能适应该数据库。它与SequentialExecutor一起工作，后者只按顺序运行任务实例。虽然有很多限制，但它允许您快速启动和运行，并了解UI和命令行实用程序。
  • 当您将Airflow扩展并部署到生产环境中时，您还需要从我们在这里使用的独立命令转移到单独运行组件。您可以在生产部署中了解更多信息：https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/production-deployment.html。

任务的详情：

example-1.jpg
下面是几个将触发几个任务实例的命令。当您运行下面的命令时，您应该能够在example_bash_operator DAG中看到作业的状态变化。

# 1.run your first task instance
airflow tasks test example_bash_operator runme_0 2015-01-01

# 执行成功标志
[2023-10-19T14:15:55.666+0800] {
   taskinstance.py:1400} INFO - Marking task as SUCCESS. dag_id=example_bash_operator, task_id=runme_0, execution_date=20150101T000000, start_date=20231019T061426, end_date=20231019T061555

# 2.run a backfill over 2 days
airflow dags backfill example_bash_operator \
    --start-date 2015-01-01 \
    --end-date 2015-01-02

# 执行成功标志
[2023-10-19T14:17:59.128+0800] {
   backfill_job_runner.py:412} INFO - [backfill progress] | finished run 2 of 2 | tasks waiting: 0 | succeeded: 10 | running: 0 | failed: 0 | skipped: 4 | deadlocked: 0 | not ready: 0
[2023-10-19T14:17:59.136+0800] {
   backfill_job_runner.py:971} INFO - Backfill done for DAG <DAG: example_bash_operator>. Exiting.

5.更新日志

  • 2024-02-21 修改启动脚本airflow-service.sh内容，及调用脚本。
文章标签：
容器服务Kubernetes版
数据库
调度
存储
监控
Linux
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。 &nbsp; &nbsp; 相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
yuanzhengme
目录
相关文章
阿里云计算巢-叶寒
|
10月前
|
Kubernetes 调度 开发工具
使用Airflow在k8s集群上轻松搭建企业级工作流
Apache Airflow 是一个开源工作流管理平台，支持编写、调度与监控复杂任务流。其核心通过代码定义工作流（DAG），结合 Scheduler、Executor、Web Server 等组件实现灵活的任务管理和执行。Airflow 支持容器化部署，如通过 Helm Chart 手动部署或使用阿里云计算巢一键部署，简化运维复杂度。实际使用中，可通过 Git 仓库同步 DAG 文件至 Scheduler，支持任务依赖编排与日志跟踪。示例展示了简单的 Hello World 工作流从代码到运行的全流程，验证了其强大的图形化交互和业务扩展能力。
阿里云计算巢-叶寒
951 8
架构实验室1
|
NoSQL 关系型数据库 MySQL
Airflow 2.2.3 + MySQL 8.0.27 + Redis 6.2 部署Airflow任务调度平台
airflow系列
架构实验室1
925 0
大数据流动
|
存储 数据采集 数据管理
一体化元数据管理平台——OpenMetadata入门宝典
一体化元数据管理平台——OpenMetadata入门宝典
大数据流动
3763 0
阿里云云原生
|
9月前
|
Kubernetes 大数据 调度
Airflow vs Argo Workflows：分布式任务调度系统的“华山论剑”
本文对比了Apache Airflow与Argo Workflows两大分布式任务调度系统。两者均支持复杂的DAG任务编排、社区支持及任务调度功能，且具备优秀的用户界面。Airflow以Python为核心语言，适合数据科学家使用，拥有丰富的Operator库和云服务集成能力；而Argo Workflows基于Kubernetes设计，支持YAML和Python双语定义工作流，具备轻量化、高性能并发调度的优势，并通过Kubernetes的RBAC机制实现多用户隔离。在大数据和AI场景中，Airflow擅长结合云厂商服务，Argo则更适配Kubernetes生态下的深度集成。
阿里云云原生
1123 34
1941623231718325
|
监控 数据处理 调度
使用Apache Airflow进行工作流编排：技术详解与实践
【6月更文挑战第5天】Apache Airflow是开源的工作流编排平台，用Python定义复杂数据处理管道，提供直观DAGs、强大调度、丰富插件、易扩展性和实时监控。本文深入介绍Airflow基本概念、特性，阐述安装配置、工作流定义、调度监控的步骤，并通过实践案例展示如何构建数据获取、处理到存储的工作流。Airflow简化了复杂数据任务管理，适应不断发展的数据技术需求。
1941623231718325
2736 3
hf20012-33800
|
存储 固态存储 关系型数据库
Apache Doris 系列： 入门篇-安装部署
Apache Doris 系列： 入门篇-安装部署
hf20012-33800
4165 0
薛伟同学
|
消息中间件 监控 数据可视化
Airflow基本概念
Airflow基本概念
薛伟同学
692 0
长梦
|
存储 分布式计算 监控
使用Airflow管理大数据工作流：自动化任务调度与依赖
【4月更文挑战第8天】Apache Airflow是一款开源的工作流管理工具，用于高效组织和调度大数据任务。它基于DAG（有向无环图）定义任务依赖，通过Operators（如BashOperator、PythonOperator）执行不同工作，并通过Scheduler和Executor协调任务执行。Web UI提供监控界面，Metadata DB存储元数据。创建DAG涉及定义DAG属性、Task及依赖关系，然后部署到Airflow环境。进阶功能包括Variables和Connections管理、XCom跨Task通信、自定义Operator及Plugin、高级调度与告警设置。
长梦
1541 0
薛伟同学
|
存储 数据安全/隐私保护 Docker
Airflow安装
Airflow安装
薛伟同学
483 0