开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink有api可以像 spark那样批出 kafka数据吗?

我现在的问题是如果keyby开窗后,再加key字段的话就无法从之前的状态重启了,但我并不想要这里窗口的状态

展开
收起
雪哥哥 2022-10-24 17:35:19 866 0
6 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    flink本身应该没有api能够实现的,不过可以结合DataStream API使用的。

    2023-01-28 11:10:47
    赞同 展开评论 打赏
  • Flink提供了一个Kafka Connector,它可以从Kafka中读取数据,并将其转换为Flink的DataStream。您可以使用DataStream API来处理数据,并使用keyBy()方法将数据按照指定的字段进行分组。您可以使用window()方法来定义窗口,并使用keyBy()方法来指定窗口的key。您可以使用Flink的checkpointing功能来保存状态,以便在重新启动时从上次checkpoint的位置开始处理数据。

    2023-01-17 15:29:33
    赞同 展开评论 打赏
  • 网站:http://ixiancheng.cn/ 微信订阅号:小马哥学JAVA

    通过官方文档看来是没有批处理kafka的方式;目前仅支持三种方式: 第一种:配置地址列表的方式, 第二种:使用topic的方式进行处理 第三种:根据设置消费位置进行处理 具体官方地址: https://help.aliyun.com/document_detail/181568.html?scm=20140722.S_help%40%40%E6%96%87%E6%A1%A3%40%40181568..ID_181568-RL%E4%BD%9B%E5%B1%B1%E6%B2%BB%E5%B7%A5%E5%85%B7-LOC_main-OR_ser-V_2-P0_2915

    2023-01-17 13:58:51
    赞同 展开评论 打赏
  • 可以,官方推荐统一使用 DataStream API 处理流数据和批数据。

    2023-01-16 16:01:57
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,可以批出数据,首先来看: Flink上读取数据有两种方式:

    • 继承RichSourceFunction重写父类方法(flink streaming)

    • 查找官方文档中是否存在connector(flink streaming和flink dataSet)

    Flink上将数据写入存储也有两种方式:

    • 继承RichSinkFunction重写父类方法(flink streaming)

    • 实现OutputFormat接口(flink streaming和flink dataSet)

    2023-01-16 11:26:40
    赞同 1 展开评论 打赏
  • 可以批读(此答案整理自Flink CDC 社区)

    2022-10-24 18:11:12
    赞同 展开评论 打赏
滑动查看更多

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载