Airflow容器化安装

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 1. 下载容器配置文件2. 创建用户和用户组(airflow)3.设置用户airflow为管理员4. 在airflow用户下,pip 安装celery 和 apache-airflow (python3.8)5. 初始化镜像6. 启动容器

环境

centos7

python3.8

docker

docker-compose





容器化安装Airflow



创建用户和用户组


在root用户下,创建airflow用户

useradd airflow  创建用户
passwd airflow  设置密码
groupadd  airflow  创建用户组
usermod -G airflow airflow 添加用户到用户组



把airflow设置为管理员


## Allow root to run any commands anywhere root    ALL=(ALL)       ALL
airflow ALL=(ALL)       NOPASSWD: ALL



安装apache-airflow

  1. 使用airflow 用户,从root用户切换到airflow
cd /home/airflow   进入airflow用户下,安装相关库
pip install celery
pip install "apache-airflow==2.3.3"--constraint"https://raw.githubusercontent.com/apache/airflow/constraints-2.3.3/constraints-3.7.txt"
  1. 下载airflow相关容器的docker-compose.yml文件


cd /home/airflow/
curl-LfO'https://airflow.apache.org/docs/apache-airflow/2.3.3/docker-compose.yaml'



  1. 在启动容器之前,初始化相关需要创建几个持久化目录和环境


在airflow用户,进行初始化

cd /home/airflow/
mkdir-p ./dags ./logs ./plugins
echo-e"AIRFLOW_UID=$(id -u)" > .env



初始化容器


如果不是普通用户(root),在运行容器的时候,会报错,找不到airflow模块

su root
cd /home/airflow
docker-compose up airflow-init #初始化数据库,以及创建表



启动容器:


docker-compose up -d#创建airflow容器并启动


查看当前容器状态:


image.png


当出现容器的状态为unhealthy的时候,要通过docker inspect $container_name查看报错的原因,至此airflow的安装就已经完成了。




访问airflow-web-server


http://192.168.10.100:8080/


默认登录用户和密码为: airflow 和  airflow



image.png



































































相关文章
|
4月前
|
存储 安全 Linux
Podman入门全指南:安装、配置与运行容器
Podman入门全指南:安装、配置与运行容器
2112 1
|
1月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署(基于Docker容器),docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程,拉取镜像、运行容器
mall在linux环境下的部署(基于Docker容器),Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
|
25天前
|
Prometheus 监控 Cloud Native
docker安装prometheus+Granfan并监控容器
【9月更文挑战第14天】本文介绍了在Docker中安装Prometheus与Grafana并监控容器的步骤,包括创建配置文件、运行Prometheus与Grafana容器,以及在Grafana中配置数据源和创建监控仪表盘,展示了如何通过Prometheus抓取数据并利用Grafana展示容器的CPU使用率等关键指标。
|
2月前
|
应用服务中间件 Linux nginx
Linux虚拟机磁盘扩容、Docker容器磁盘满的问题、Docker安装nginx
这篇文章讨论了Linux虚拟机磁盘扩容的方法,包括外部配置、具体扩容步骤和扩容后的效果验证。同时,文章还涉及了Docker容器磁盘满的问题及其解决方法,如删除不必要的镜像和容器,以及调整Docker的安装路径。此外,还提到了意外情况的处理,例如误删除停止的容器后的应对措施。最后,文章还提供了使用Docker安装nginx的步骤和成功访问的截图。
Linux虚拟机磁盘扩容、Docker容器磁盘满的问题、Docker安装nginx
|
2月前
|
Linux 开发工具 数据库
【REP】hrms-ERPNext 容器安装配置
【REP】hrms-ERPNext 容器安装配置
|
2月前
|
Linux Docker 容器
在CentOS操作系统上使用yum安装/使用/卸载Docker容器引擎
在CentOS操作系统上安装、配置、使用和卸载Docker容器引擎的详细步骤,包括配置Docker镜像加速的方法。
232 0
|
2月前
|
Ubuntu NoSQL 关系型数据库
在Ubuntu操作系统上安装/使用/卸载Docker容器引擎
这篇文章详细介绍了在Ubuntu操作系统上安装、配置、使用、基本操作以及卸载Docker容器引擎的步骤,包括配置Docker镜像加速和使用Docker部署Nginx、MySQL和Redis服务器的方法。
57 0
|
5月前
|
网络协议 安全 Linux
1.安装 docker 容器并配置镜像加速器
1.安装 docker 容器并配置镜像加速器
529 11
|
5月前
|
运维 Kubernetes 监控
本地CentOS安装轻量级容器PaaS平台KubeSphere并实现无公网IP远程访问
本地CentOS安装轻量级容器PaaS平台KubeSphere并实现无公网IP远程访问
71 0
|
5月前
|
NoSQL Redis Docker
Mac上轻松几步搞定Docker与Redis安装:从下载安装到容器运行实测全程指南
Mac上轻松几步搞定Docker与Redis安装:从下载安装到容器运行实测全程指南
757 0