Airflow 做 ETL,真不是“排个 DAG 就完事儿”:那些年我踩过的坑与悟出的道

简介: Airflow 做 ETL,真不是“排个 DAG 就完事儿”:那些年我踩过的坑与悟出的道

Airflow 做 ETL,真不是“排个 DAG 就完事儿”:那些年我踩过的坑与悟出的道

大家好,我是 Echo_Wish,一个在大数据 ETL 世界里摸爬滚打多年、见过无数 Airflow“惨案”的人。

很多同学以为 Airflow = 画个 DAG + 写个 Operator + 放到生产跑,图简单、逻辑清晰、界面也漂亮,看起来“稳得一批”。

但真上生产后你会发现:
Airflow 好用,但绝对不会自动变好用。
配置不合理、调度不规范、任务不隔离、Operator 滥用、XCom 滥发消息……这些问题不踩上几次,根本意识不到它们有多“致命”。

今天我就跟你聊聊:
怎么用 Airflow 搭一个真的能扛生产的 ETL 系统 —— 并顺便告诉你哪些坑必须绕开。


一、Airflow 最容易犯的错误:把它当“任务执行器”而不是“调度编排器”

我见过不少项目把 Airflow 当成“万能胶”:

  • 数据清洗写在 PythonOperator
  • 数据加工写在 BashOperator
  • 数据入仓也写在 PythonOperator
  • 拖个 DockerOperator 跑 Spark 任务
  • 甚至有团队把 MySQL 的小 SQL 都塞到 PythonOperator 里执行…

结果 DAG 看起来像一大坨年糕,谁也不敢动,改一个节点要跪十分钟祈祷不爆炸。

正确做法应该是:

✔ Airflow 做 编排 —— 决定什么任务什么时候跑
✔ 真正的数据处理任务交给 Spark / Flink / 任务脚本
✔ Airflow 只负责触发 & 监控,不负责计算

所以 在 DAG 里偷懒写大量逻辑,是最不应该的行为。


二、上生产前必须具备的 ETL DAG 基本形态

话不多说,给你一个能上生产的基础 DAG 模版,里面包含了一些最佳实践。

Image

Image

示范代码:带重试、隔离、任务边界清晰的 ETL DAG

from datetime import datetime, timedelta
from airflow import DAG
from airflow.providers.cncf.kubernetes.operators.kubernetes_pod import KubernetesPodOperator
from airflow.operators.empty import EmptyOperator

default_args = {
   
    "owner": "echo_wish",
    "email": ["alert@datapipeline.com"],
    "email_on_failure": True,
    "retries": 2,                # 必须要有重试
    "retry_delay": timedelta(minutes=5),
    "depends_on_past": False,    # ETL 不推荐依赖过去状态
}

with DAG(
    dag_id="etl_sales_daily",
    start_date=datetime(2024, 1, 1),
    schedule_interval="0 1 * * *",    # 每天凌晨1点跑
    catchup=False,                    # 避免一次补几千天的“悲剧”
    default_args=default_args
) as dag:

    start = EmptyOperator(task_id="start")

    extract = KubernetesPodOperator(
        task_id="extract_raw_data",
        name="extract-task",
        namespace="airflow-jobs",
        image="etl/extract:latest",
        cmds=["python", "extract.py"],
        arguments=["--date", "{
   { ds }}"],
        is_delete_operator_pod=True
    )

    transform = KubernetesPodOperator(
        task_id="transform_data",
        name="transform-task",
        namespace="airflow-jobs",
        image="etl/transform:latest",
        cmds=["python", "transform.py"],
        arguments=["--date", "{
   { ds }}"],
        is_delete_operator_pod=True
    )

    load = KubernetesPodOperator(
        task_id="load_to_dwh",
        name="load-task",
        namespace="airflow-jobs",
        image="etl/load:latest",
        cmds=["python", "load.py"],
        arguments=["--date", "{
   { ds }}"],
        is_delete_operator_pod=True
    )

    end = EmptyOperator(task_id="end")

    start >> extract >> transform >> load >> end

你会发现几个核心点:

  • 用 KubernetesPodOperator 跑任务,真正做到完全隔离
  • 每一步都拆开,逻辑清晰明了
  • ETL 代码不写在 DAG 里,Airflow 只是个 orchestrator
  • 重试、邮件、调度、任务边界全部规范

如果你现在的 DAG 长得不像这样,那大概率有优化空间。


三、Airflow 搭 ETL 经常被忽视的关键设计

1. DAG 要小,不要大

很多项目喜欢弄一个“大而全”的 DAG,每天跑几十个节点。
出了问题根本不知道是哪个子流程挂了。

更优解:

✔ 一条业务链路一个 DAG
✔ 一个表一个 DAG(特别是快照/宽表)
✔ 公共依赖拆成子 DAG 或者单独维护

越小越好管理,这是真理。


2. XCom 慎用:不要把大对象丢进去

我见过最魔幻的 Airflow 事故:

某同事把一个 100MB 的 Pandas DataFrame 通过 XCom 往下游传……

Airflow 的 metadata DB(MySQL/Postgres)瞬间爆炸。

原则:XCom 只能传 Metadata、小量字符串,不传数据本体。

怎么传数据?
✔ 上传到 OSS/S3/HDFS
✔ XCom 里只放路径


3. 不要把 Airflow 当成“查询引擎”

反模式例子:

# 千万不要这样写
def really_bad_task():
    import pandas as pd
    df = pd.read_sql("SELECT * FROM big_table", conn)
    ... # 本地处理

你会让 scheduler / worker 直接打 DB,造成:

  • DB 压力飙升
  • Worker 内存打爆
  • 性能惨不忍睹

正确姿势:

✔ DB → 外部脚本/Spark 处理
✔ Airflow 只触发脚本,不做 heavy load


4. 所有 ETL 镜像必须可重复执行、幂等、安全回滚

为什么?

因为 Airflow 的哲学是:

任务可以失败,但不能留下脏数据。

所以你的 ETL 脚本必须遵守:

  • 同一天跑多少次,结果必须一致
  • 如果失败要能回滚
  • load 阶段要么全成功,要么全部失败

四、我踩过最痛的坑:依赖管理混乱

Airflow 里依赖一旦搞乱,你会看到:

  • 任务 A 明明成功了,但任务 B 不跑
  • 因为一个节点卡住,整个 DAG 挂在那里十小时
  • 新增节点导致循环依赖,直接跑不起来

最糟糕的“反面教材”就是写成树状 + 多个分支互相引用。

正确思路:它必须是一条链,或者清晰的树,而不是蜘蛛网。

如果 DAG 长这样,那你就成功打造了生产事故:

[外链图片转存中...(img-cNI7A7JU-1765548424463)]

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传


五、关于监控:Airflow 不等于运维系统

Airflow 自带的监控并不够,它只告诉你:

  • 成功
  • 失败
  • 超时
  • 重试

但真正的生产 ETL 需要:

✔ 数据量监控(比如今天入库 100W,昨天 200W,是不是异常?)
✔ 数据质量监控(空值、重复、业务约束)
✔ 延迟监控(下游 SLA)
✔ 元数据记录(血缘、字段变更)

所以 Airflow 不能独立支撑所有需求,必须补上:

  • Prometheus + Grafana
  • 数据质量工具(Great Expectations、Deequ)
  • 元数据管理(DataHub、Amundsen)

六、写在最后:Airflow 本质上是“纪律工具”

这么多年用下来我有一个特别深的感受:
Airflow 的根问题不在技术,而在团队习惯。

  • 如果大家喜欢把逻辑塞到 DAG 里 → DAG 会腐烂
  • 如果大家不遵守幂等、分离职责、轻逻辑原则 → ETL 会混乱
  • 如果业务不愿意规范数据结构 → 后端永远在救火

Airflow 是个非常成熟、强大、稳定的调度系统。
真正让它变得“不稳定”的,是使用它的人。


只要记住一句话:

Airflow 做 ETL,不是搭一个系统,而是培养一套团队工程文化。

目录
相关文章
|
2月前
|
人工智能 自然语言处理 安全
阿里云百炼大模型服务平台是什么?平台功能与能力、模型服务、应用构建及新用户免费额度介绍
阿里云百炼一站式大模型服务平台正式上线Wan3.0原生3D视频生成大模型,同步推出Token Plan个人版包月39元起等多档灵活计费方案,新用户开通即享超1亿免费Tokens。平台聚合百余款主流模型,覆盖从模型推理、Agent开发到企业级RAG知识库的全链路能力,兼容OpenAI接口规范,支持CLI命令行调用,帮助不同技术背景的用户低成本完成AI应用落地。
|
10月前
|
机器学习/深度学习 传感器 算法
Python | Stacking回归和SHAP可解释性分析回归预测及可视化算法
本教程基于Python实现Stacking回归与SHAP可解释性分析,涵盖地球科学、医学、工程等多领域回归预测应用。结合CatBoost、LightGBM、XGBoost等模型,采用贝叶斯、随机与网格搜索优化参数,并通过SHAP值可视化特征贡献,提升模型性能与可解释性,适用于科研与实际项目。
1072 2
|
8月前
|
人工智能 机器人 定位技术
不会写代码也能懂:OpenClaw四层架构图解
本文用四张示意图,通俗拆解OpenClaw四大核心层:交互层(多端消息统一翻译)、网关层(路由/排队/调度中枢)、智能体层(会话、上下文、执行与记忆)、执行层(本地/远端节点+插件化技能)。帮你快速定位问题、理解消息全流程,零代码也能心中有图。
|
分布式计算 监控 API
DMS Airflow:企业级数据工作流编排平台的专业实践
DMS Airflow是基于Apache Airflow构建的企业级数据工作流编排平台,深度集成阿里云DMS系统,提供统一认证、智能调度、多任务类型支持及企业级监控能力,助力数据团队高效管理ETL、分析、机器学习等复杂工作流。
919 21
|
12月前
|
关系型数据库 MySQL PHP
0 基础建站?PageAdmin CMS 10 分钟搞定,源码免费拿!
PageAdmin CMS 为无编程基础用户提供高效建站方案。步骤包括:准备服务器、域名及源码;上传源码并配置数据库;通过安装向导完成基础设置;在后台创建栏目、填充内容;测试功能后上线。全程无需编程,简单操作即可搭建独立网站,支持后续维护与扩展。
1206 1
|
开发工具 git Docker
|
存储 数据管理 Apache
Doris建表分桶选择与优化建议
Apache Doris 中的分桶(Bucketing)是提升查询性能的重要优化手段。通过合理选择分桶列和分桶数,可提高数据并行处理能力与局部性。建议选用高基数、高频查询列作为分桶列,结合数据量与集群规模设置分桶数,推荐使用自动分桶(BUCKETS AUTO)。分桶策略包括哈希分桶与范围分桶,适用于不同场景。合理分桶可优化查询性能、导入效率与资源利用率,建议结合业务特征测试验证最佳方案。
1300 0
|
资源调度 前端开发 开发者
React 日期选择器 Date Picker
本文介绍了如何在 React 应用中使用 `react-datepicker` 日期选择器,涵盖基础安装、基本用法、自定义样式、限制可选日期、多日期选择等内容,并探讨了常见问题及解决方案,帮助开发者在实际项目中灵活应用日期选择器。
924 5