Airflow安装

简介: Airflow安装


前提条件需要安装 Docker 和 Docker-compose,作者用的是 Mac 系统安装的 Airflow。

新建 Airflow 文件夹

创建三个文件夹用于存储 Airflow 的数据:

  1. /Users/xuew/Environment/Airflow/dags
  2. /Users/xuew/Environment/Airflow/logs
  3. /Users/xuew/Environment/Airflow/plugins

获取当前的用户 ID,并输出到环境变量。

echo -e "AIRFLOW_UID=$(id -u)" > .env

创建 docker-compose

可以直接从官网获取:https://airflow.apache.org/docs/apache-airflow/2.6.0/docker-compose.yaml,但是下载后需要修改部分内容,比如数据卷。

我修改好的 docker-compose 如下:

启动 Airflow

# 前台启动(建议第一次运行使用前台启动,方便查看日志)
docker-compose up
# 后台启动
docker-compose up -d

关闭 Airflow

# 关闭 Airflow
docker-compose down

其他命令

# 启动 Airflow 服务
docker-compose up
# 后台启动 Airflow 服务
docker-compose up -d
# 停止 Airflow 服务
docker-compose down
# 列出正在运行的 Airflow 容器
docker ps
# 查看镜像
docker images
# 查看 Docker 状态
systemctl status docker
# 进入某个 Airflow 容器的终端
docker exec -it <container_name> bash
# 显示 Airflow 服务的日志,-f 参数表示实时跟踪日志,service_name 参数表示服务名,默认为所有服务。
docker-compose logs [-f] [service_name]
# 构建 Airflow 镜像
docker-compose build
# 清除未使用的镜像、容器、网络和卷
docker system prune
# 查看 Airflow 所在的网络 IP 地址,irflow-stack_airflow-net 表示 Docker Compose 文件中定义的 Airflow 网络名
docker network inspect airflow-stack_airflow-net | grep Gateway
# Docker 保存镜像
docker save -o airflow2.tar apache/airflow:2.6.0
# tar 文件导入到另一台机器上
docker load -i airflow2.tar

验证 Airflow

使用浏览器访问 http://localhost:8080。登录名和密码都是 airflow。

接下来就可以在 /Users/xuew/Environment/Airflow/dags 目录下创建 Dag 脚本了。

相关文章
|
消息中间件 存储 监控
五分钟快速了解Airflow工作流
简介 Airflow是一个以编程方式创作、调度和监控工作流的平台。 使用 Airflow 将工作流创作为有向无环图(DAG)任务。 Airflow 调度程序按照你指定的依赖项在一组workers上执行您的任务。同时,Airflow拥有丰富的命令行实用程序使得在DAG上进行复杂的诊断变得轻而易举。并且提供了丰富的用户界面使可视化生产中运行的工作流、监控进度和需要排查问题时变得非常容易。 当工作流被定义为代码时,它们变得更易于维护、可版本化、可测试和协作。
|
弹性计算 资源调度 Kubernetes
Flink三种集群模式,Standalone模式,Flink On YARN,Flink On K8S,这三种模式有啥优缺点,生产环境如何选择呢?
Flink三种集群模式,Standalone模式,Flink On YARN,Flink On K8S,这三种模式有啥优缺点,生产环境如何选择呢?
2229 3
|
7月前
|
人工智能 自然语言处理 运维
【新模型速递】PAI-Model Gallery云上一键部署Qwen3-Coder模型
Qwen3-Coder 是通义千问最新开源的 AI 编程大模型正式开源,拥有卓越的代码和 Agent 能力,在多领域取得了开源模型的 SOTA 效果。PAI 已支持最强版本 Qwen3-Coder-480B-A35B-Instruct 的云上一键部署。
|
10月前
|
人工智能 弹性计算 运维
阿里云 MCP Server 开箱即用!
本文介绍了如何通过alibaba-cloud-ops-mcp-server和MCP(Model Context Protocol)实现AI助手对阿里云资源的复杂任务操作。内容涵盖背景、准备步骤(如使用VS Code与Cline配置MCP Server)、示例场景(包括创建实例、监控实例、运行命令、启停实例等),以及支持的工具列表和参考文档。借助这些工具,用户可通过自然语言与AI助手交互,完成ECS实例管理、VPC查询、云监控数据获取等运维任务,实现高效“掌上运维”。
|
9月前
|
Kubernetes 大数据 调度
Airflow vs Argo Workflows:分布式任务调度系统的“华山论剑”
本文对比了Apache Airflow与Argo Workflows两大分布式任务调度系统。两者均支持复杂的DAG任务编排、社区支持及任务调度功能,且具备优秀的用户界面。Airflow以Python为核心语言,适合数据科学家使用,拥有丰富的Operator库和云服务集成能力;而Argo Workflows基于Kubernetes设计,支持YAML和Python双语定义工作流,具备轻量化、高性能并发调度的优势,并通过Kubernetes的RBAC机制实现多用户隔离。在大数据和AI场景中,Airflow擅长结合云厂商服务,Argo则更适配Kubernetes生态下的深度集成。
1123 34
|
分布式计算 监控 调度
airflow是什么
Apache Airflow是一个用于调度和监控有依赖任务的工作流平台,它使用Python编程定义任务和工作流,提供了命令行和Web界面工具,支持包括Spark、MR、Hive在内的多种数据处理任务的提交和管理。
796 5
|
存储 数据安全/隐私保护 Docker
Kolla-ansible部署openStack
Kolla-ansible部署openStack
2286 11
|
关系型数据库 Linux Docker
datahub元数据管理平台从安装到使用一站式指南(未完)_datahub安装
datahub元数据管理平台从安装到使用一站式指南(未完)_datahub安装
datahub元数据管理平台从安装到使用一站式指南(未完)_datahub安装