Airflow容器化安装

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 1. 下载容器配置文件2. 创建用户和用户组(airflow)3.设置用户airflow为管理员4. 在airflow用户下,pip 安装celery 和 apache-airflow (python3.8)5. 初始化镜像6. 启动容器

环境

centos7

python3.8

docker

docker-compose





容器化安装Airflow



创建用户和用户组


在root用户下,创建airflow用户

useradd airflow  创建用户
passwd airflow  设置密码
groupadd  airflow  创建用户组
usermod -G airflow airflow 添加用户到用户组



把airflow设置为管理员


## Allow root to run any commands anywhere root    ALL=(ALL)       ALL
airflow ALL=(ALL)       NOPASSWD: ALL



安装apache-airflow

  1. 使用airflow 用户,从root用户切换到airflow
cd /home/airflow   进入airflow用户下,安装相关库
pip install celery
pip install "apache-airflow==2.3.3"--constraint"https://raw.githubusercontent.com/apache/airflow/constraints-2.3.3/constraints-3.7.txt"
  1. 下载airflow相关容器的docker-compose.yml文件


cd /home/airflow/
curl-LfO'https://airflow.apache.org/docs/apache-airflow/2.3.3/docker-compose.yaml'



  1. 在启动容器之前,初始化相关需要创建几个持久化目录和环境


在airflow用户,进行初始化

cd /home/airflow/
mkdir-p ./dags ./logs ./plugins
echo-e"AIRFLOW_UID=$(id -u)" > .env



初始化容器


如果不是普通用户(root),在运行容器的时候,会报错,找不到airflow模块

su root
cd /home/airflow
docker-compose up airflow-init #初始化数据库,以及创建表



启动容器:


docker-compose up -d#创建airflow容器并启动


查看当前容器状态:


image.png


当出现容器的状态为unhealthy的时候,要通过docker inspect $container_name查看报错的原因,至此airflow的安装就已经完成了。




访问airflow-web-server


http://192.168.10.100:8080/


默认登录用户和密码为: airflow 和  airflow



image.png



































































相关文章
|
Ubuntu 关系型数据库 MySQL
|
1月前
|
Java Go 开发者
Docker容器技术简介及其与Go语言的结合点
【2月更文挑战第23天】本文首先概述了Docker容器技术的核心概念和优势,接着探讨了Go语言与Docker容器技术的结合点。通过阐述Docker的轻量级、可移植性和版本控制等特性,以及Go语言在容器化应用中的优势,本文旨在说明两者结合能够实现更高效、灵活的应用开发和部署。
|
1月前
|
Oracle 关系型数据库 数据库
|
3天前
|
存储 Kubernetes Docker
Kubernetes(K8S)集群管理Docker容器(概念篇)
Kubernetes(K8S)集群管理Docker容器(概念篇)
|
3天前
|
存储 Ubuntu 安全
Docker容器常用命令
Docker容器常用命令
13 1
|
9天前
|
存储 运维 监控
构建高效稳定的Docker容器监控体系
【4月更文挑战第18天】 在现代微服务架构中,Docker容器已成为部署和运行应用的标准环境。随之而来的挑战是如何有效监控这些容器的性能与健康状况,确保系统的稳定性和可靠性。本文将探讨构建一个高效稳定的Docker容器监控体系的关键技术和方法,包括日志管理、性能指标收集以及异常检测机制,旨在为运维人员提供实用的指导和建议。
13 0
|
18天前
|
Linux Docker 容器
docker 容器常用命令
docker 容器常用命令
13 0
|
18天前
|
Linux Shell 虚拟化
linux 部署docker容器虚拟化平台(二)--------docker 镜像制作方法
linux 部署docker容器虚拟化平台(二)--------docker 镜像制作方法
28 0
|
18天前
|
存储 Linux Shell
centos 部署docker容器 安装 、基本使用方法(一)
centos 部署docker容器 安装 、基本使用方法(一)
32 0
|
26天前
|
Kubernetes 网络协议 Docker
Docker 容器的DNS
Docker 容器的DNS
28 1