开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

新版flink1.18是不是后续开发pipeline统一直接用这两个就好了?

新版flink1.18是不是后续开发pipeline统一直接用flink-scala_2.12与flink-streaming-scala_2.12就好了?277f3f583e84fdb7b8a5e754ef2bff8f.png

15d862f6d9220a51167deb10ee4010f8.png

展开
收起
三分钟热度的鱼 2023-11-30 16:22:44 107 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Apache Flink 1.18 版本是其最新的稳定版本,它包含了许多改进和新特性。对于开发 pipeline,你有多种选择,取决于你的具体需求和使用场景。

    Flink 1.18 提供了两种主要的方式来构建和运行数据处理管道:

    1. Table API & SQL:这是基于声明式编程模型的高级接口,适合于进行复杂的批处理和流处理任务。Table API 提供了一种类似于关系数据库表操作的方式,而 SQL 则允许你使用标准 SQL 查询来处理数据。这两种方式可以无缝地结合使用,以满足不同层次的需求。

    2. DataStream API 和 DataSet API:这是基于命令式编程模型的低级接口,提供了更细粒度的控制。DataStream API 用于处理无界数据流(实时数据),而 DataSet API 用于处理有界数据集(批量数据)。虽然这些接口更加底层,但它们也更灵活,能够支持更多的定制化需求。

    因此,在 Flink 1.18 中,你可以根据你的项目需求、团队技能以及对性能和可维护性的要求来决定使用哪一种或两种方法的组合。如果你需要处理复杂的 ETL 或 BI 任务,并且希望保持代码的简洁性和易读性,那么 Table API 和 SQL 可能是一个好选择。如果你需要实现特定的数据转换逻辑或者需要对性能有更严格的控制,那么 DataStream API 和 DataSet API 可能更适合。

    2023-11-30 21:48:16
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载