开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问Flink我配置了按时间戳获取kafka的数据,但是,时间对不上,比如我配置的时间戳是?

bc7b9cf6e32af9888554a909f0722acc.png
418a29ecc6c66658a690f9ed56ca7a02.png
'scan.startup.mode' = 'timestamp'
scan.startup.timestamp-millis 请问Flink我配置了按时间戳获取kafka的数据,但是,时间对不上,比如我配置的时间戳是16:55:00的数据,但是print的时候,还是能打印kafka元数据timestamp比这个更早的数据?

展开
收起
真的很搞笑 2023-08-14 21:14:33 292 0
1 条回答
写回答
取消 提交回答
  • Flink 从 Kafka 获取数据时,可以使用 timestampExtractor 属性指定时间戳提取器。时间戳提取器是一个函数,它从 Kafka 消息中提取时间戳。默认情况下,Flink 使用 KafkaTimestampExtractor 时间戳提取器,该提取器从 Kafka 消息的 timestamp 字段中提取时间戳。

    如果 Kafka 消息中没有 timestamp 字段,你可以使用其他时间戳提取器来提取时间戳。例如,你可以使用 SystemTimestampExtractor 时间戳提取器,该提取器使用系统当前时间作为时间戳。

    如果 Kafka 消息中的 timestamp 字段格式不正确,你可以使用 FixedValueTimestampExtractor 时间戳提取器来指定时间戳的固定值。

    2023-09-22 11:34:27
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载