开发者社区 问答 正文

Hudi 和 Flink 的融合过程中的抽象原则是什么?

Hudi 和 Flink 的融合过程中的抽象原则是什么?

展开
收起
芯在这 2021-12-12 11:41:01 277 分享 版权
1 条回答
写回答
取消 提交回答
  • 抽象原则:

    统一使用泛型 I、K、O 代替。

    去 Spark 化,抽象层 API 都是引擎无关的,难以在抽象层实现的,我们会把它改为抽象方法下推到 Spark 子类实现。

    不影响原版,抽象层尽量的减少改动,以保证固定的功能性。

    引入 HoodieEngineContext 代替 JavaSparkContext, 提供运行时的上下文。

    2021-12-12 11:41:16
    赞同 展开评论