AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据开发治理DataWorks 正文

DataWorks在目的数据源中发现了超过这个时间的数据？

DataWorks离线同步读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据？

展开
收起
真的很搞笑 2023-09-06 14:09:34 91 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    kafkareader在读数据的时候，是以batch的形式进行的，在读到的一批数据中，如果有超过endDateTime的，则停止同步，但是超出endDateTime的这部分数据也会被写入到目的端数据源。您也可以通过skipExceedRecord配置项来指定是否同步超出的数据。详细使用方法见Kafka Reader。【不建议设置为不同步，会有造成丢数据】您可以通过配置kafka的max.poll.records配置项来指定一次拉取数据的量，结合并发数，来控制可能超出的数据量。超出的数据量 < max.poll.records * 并发数
    https://help.aliyun.com/document_detail/146663.html，此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-06 15:09:22
    赞同 展开评论
问答分类：
消息中间件 DataWorks Kafka 大数据开发治理平台 DataWorks 云消息队列 Kafka 版
问答标签：
大数据开发治理平台 DataWorks数据 大数据开发治理平台 DataWorks数据源 大数据开发治理平台 DataWorks数据源数据
问答地址：
开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 问答
相关问答
DataWorks
DataWorks数据源测试连通成功，但同步任务加载不出来？
325
3
0
DataWorks实时同步是不是 也是可以的 只要数据源开启了binlog？
167
4
0
DataWorks数据集成的数据源管理和管理空间的数据源管理是什么关系？互相同步的么？
89
3
0
DataWorks中有ReatAPI数据源的详细的配置文档吗？这种报错是因为什么呢？
79
1
0
dataworks进行holegres开发不能选择hologres数据源怎么办？
55
1
0
DataWorks公共数据集成资源组支持什么类型的数据源？
76
1
0
DataWorks创建一个指向MC某个项目的数据源，这个数据源有开发环境和生产环境，然后数仓开发人员
80
1
0
DataWorks数据源这里的报错应该到哪里可以看到完整的？
52
0
0
DataWorks这里不支持开启租户schema的数据源吗？
58
1
0
DataWorks数据集成的Hive数据源测试连通性报principal initiate f...
86
1
0
大数据与机器学习

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

我要提问

相关文章

  • 6-MQ篇
  • 如何开发WMS系统中的采购管理板块（附架构图+流程图+代码参考）
  • 如何开发WMS系统中的销售管理板块（附架构图+流程图+代码参考）
  • 降本增效新引擎：API集成如何让电商订单履约快人一步？
  • 淘天AB实验分析平台Fluss落地实践：更适合实时OLAP的消息队列

    • 热门讨论

    热门文章

  • dataworks添加空间管理员？
  • 数据来源：com.alibaba.fastjson.JSONException: syntax er
  • Dataphin和 Dataworks 有啥区别呢？
  • 数据服务报429请求次数过多咋办呀
  • 请问内网怎么调用dataworks的openapi，把依赖拷贝到内网缺失很多在maven仓库的包
  • 阿里云磁盘大小是多少？
  • DataWorks failed: ODPS-0130071:[0,0] Semantic ana？
  • DataWorks将一个分区表删除后，如何恢复整个表和数据内容呢？
  • Dataworks中DataX同步速率能怎么优化吗？
  • dataworks 上要搭配实时计算的组件，是要单独购买实时flink吗？
    • 展开全部
  • DataWorks售前咨询
  • 2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
  • 欢迎加入飞天大数据平台交流群
  • DataWorks操作报错合集之配置项目连通oss数据源 , 报The request signature we calculated does not match the signature you provided.如何解决
  • 长文详解｜DataWorks Data+AI一体化开发实战图谱
  • DataWorks：新一代 Data+AI 数据开发与数据治理平台演进
  • 火热邀测！DataWorks数据集成支持大模型AI处理
  • 欢迎加入DataWorks产品钉钉交流群
  • DataWorks操作报错合集之DataX进行MongoDB全量迁移的过程中，DataX的MongoDB Reader插件在初始化阶段找不到Fastjson 2.x版本的类库，该怎么办
  • DataWorks x 婚礼纪：智能一站式数据开发治理平台让千万新人的幸福时刻“数智化”
    • 展开全部
    还有其他疑问?
    咨询AI助理