Databricks如何ETL Workflow 的自动化？

YipitData使用Airflow来实现ETLWorkflow的自动化。越来越多的人使用Airflow来管理ETLWorkflow，已经逐渐成为ETL的一个标准工具。对于数据工程师来说，Airflow的使用不是很难：首先构建一个DAG，然后去定义其中的TASK，最后定义下这些TASKS的依赖关系即可。但是，终究是要写一段代码来实现这个过程，就需要有人来维护，对于大多数员工是数据分析师的YipitData来说就不是那么合适了。因此，YipitData使用Airflow+databricks的API来自动化构建DAGs。具体来说，每个文件夹就代表一个DAG，每个Notebook就代表一个Task，Notebook中指定一些属性（内部是python脚本），然后通过API来自动化构建DAG文件。通过上面的过程完成整个ETL的自动化，其中用户只需要指定Notebook中的参数值即可。