Airflow安装

简介: Airflow安装


前提条件需要安装 Docker 和 Docker-compose,作者用的是 Mac 系统安装的 Airflow。

新建 Airflow 文件夹

创建三个文件夹用于存储 Airflow 的数据:

  1. /Users/xuew/Environment/Airflow/dags
  2. /Users/xuew/Environment/Airflow/logs
  3. /Users/xuew/Environment/Airflow/plugins

获取当前的用户 ID,并输出到环境变量。

echo -e "AIRFLOW_UID=$(id -u)" > .env

创建 docker-compose

可以直接从官网获取:https://airflow.apache.org/docs/apache-airflow/2.6.0/docker-compose.yaml,但是下载后需要修改部分内容,比如数据卷。

我修改好的 docker-compose 如下:

启动 Airflow

# 前台启动(建议第一次运行使用前台启动,方便查看日志)
docker-compose up
# 后台启动
docker-compose up -d

关闭 Airflow

# 关闭 Airflow
docker-compose down

其他命令

# 启动 Airflow 服务
docker-compose up
# 后台启动 Airflow 服务
docker-compose up -d
# 停止 Airflow 服务
docker-compose down
# 列出正在运行的 Airflow 容器
docker ps
# 查看镜像
docker images
# 查看 Docker 状态
systemctl status docker
# 进入某个 Airflow 容器的终端
docker exec -it <container_name> bash
# 显示 Airflow 服务的日志,-f 参数表示实时跟踪日志,service_name 参数表示服务名,默认为所有服务。
docker-compose logs [-f] [service_name]
# 构建 Airflow 镜像
docker-compose build
# 清除未使用的镜像、容器、网络和卷
docker system prune
# 查看 Airflow 所在的网络 IP 地址,irflow-stack_airflow-net 表示 Docker Compose 文件中定义的 Airflow 网络名
docker network inspect airflow-stack_airflow-net | grep Gateway
# Docker 保存镜像
docker save -o airflow2.tar apache/airflow:2.6.0
# tar 文件导入到另一台机器上
docker load -i airflow2.tar

验证 Airflow

使用浏览器访问 http://localhost:8080。登录名和密码都是 airflow。

接下来就可以在 /Users/xuew/Environment/Airflow/dags 目录下创建 Dag 脚本了。

相关文章
|
消息中间件 存储 监控
五分钟快速了解Airflow工作流
简介 Airflow是一个以编程方式创作、调度和监控工作流的平台。 使用 Airflow 将工作流创作为有向无环图(DAG)任务。 Airflow 调度程序按照你指定的依赖项在一组workers上执行您的任务。同时,Airflow拥有丰富的命令行实用程序使得在DAG上进行复杂的诊断变得轻而易举。并且提供了丰富的用户界面使可视化生产中运行的工作流、监控进度和需要排查问题时变得非常容易。 当工作流被定义为代码时,它们变得更易于维护、可版本化、可测试和协作。
Zeppelin安装与配置
本文介绍zeppelin安装与配置指南
Zeppelin安装与配置
|
4月前
|
分布式计算 监控 调度
airflow是什么
Apache Airflow是一个用于调度和监控有依赖任务的工作流平台,它使用Python编程定义任务和工作流,提供了命令行和Web界面工具,支持包括Spark、MR、Hive在内的多种数据处理任务的提交和管理。
153 5
|
6月前
|
分布式计算 Shell 调度
看看airflow怎样调度python写的spark任务吧
看看airflow怎样调度python写的spark任务吧
98 0
|
7月前
|
存储 监控 Linux
Airflow【部署 01】Airflow官网Quick Start实操(一篇学会部署Airflow)
【2月更文挑战第7天】Airflow【部署 01】Airflow官网Quick Start实操(一篇学会部署Airflow)
632 1
|
7月前
|
SQL 调度 数据库
Airflow的Dag
Airflow的Dag
102 0
|
7月前
|
SQL 关系型数据库 MySQL
SuperSet服务安装
SuperSet服务安装
250 0
SuperSet服务安装
|
XML 分布式计算 数据可视化
本地部署 zeppelin 0.10.1
本地部署 zeppelin 0.10.1
236 0
|
Linux 数据安全/隐私保护 Docker
Airflow容器化安装
1. 下载容器配置文件 2. 创建用户和用户组(airflow) 3.设置用户airflow为管理员 4. 在airflow用户下,pip 安装celery 和 apache-airflow (python3.8) 5. 初始化镜像 6. 启动容器
Airflow容器化安装
|
缓存 关系型数据库 MySQL
Azkaban任务调度系统之安装实战
Centos7下,Azkaban的安装实战