新版flink1.18是不是后续开发pipeline统一直接用flink-scala_2.12与flink-streaming-scala_2.12就好了?
Apache Flink 1.18 版本是其最新的稳定版本,它包含了许多改进和新特性。对于开发 pipeline,你有多种选择,取决于你的具体需求和使用场景。
Flink 1.18 提供了两种主要的方式来构建和运行数据处理管道:
Table API & SQL:这是基于声明式编程模型的高级接口,适合于进行复杂的批处理和流处理任务。Table API 提供了一种类似于关系数据库表操作的方式,而 SQL 则允许你使用标准 SQL 查询来处理数据。这两种方式可以无缝地结合使用,以满足不同层次的需求。
DataStream API 和 DataSet API:这是基于命令式编程模型的低级接口,提供了更细粒度的控制。DataStream API 用于处理无界数据流(实时数据),而 DataSet API 用于处理有界数据集(批量数据)。虽然这些接口更加底层,但它们也更灵活,能够支持更多的定制化需求。
因此,在 Flink 1.18 中,你可以根据你的项目需求、团队技能以及对性能和可维护性的要求来决定使用哪一种或两种方法的组合。如果你需要处理复杂的 ETL 或 BI 任务,并且希望保持代码的简洁性和易读性,那么 Table API 和 SQL 可能是一个好选择。如果你需要实现特定的数据转换逻辑或者需要对性能有更严格的控制,那么 DataStream API 和 DataSet API 可能更适合。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。