入湖引擎是什么？

入湖引擎使用了阿里云 EMR 团队自研的 Spark Streaming SQL 以及 EMR Spark 引擎，Streaming SQL 基于 Spark Structured Streaming，提供了相对完善的 Streaming SQL 语法，极大简化了实时计算的开发成本。对于实时增量模板，上层入湖 模板部分将入湖模板翻译成 Streaming SQL，然后提交 Spark 集群运行。我们在 Streaming SQL 里面扩展了 Merge Into 语法来支持 update、delete 操作。对于 RDS 等全量模板，则直接翻译成 Spark SQL 运行。