AI 助理
备案控制台
开发者社区 数据库 数据库管理工具 正文

麻烦问下数据传输DTS，从PolarDB同步到clickhouse，数据有大量重复应该如何解决？

麻烦问下数据传输DTS，从PolarDB同步到clickhouse，数据有大量重复应该如何解决？

展开
收起
真的很搞笑 2023-12-28 07:46:59 177 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    61fce87aa814f6de8fc5edde39377dbe.png
    已确认，ClickHouse有数据重复是正常的，建议您添加final 和_sign=1来过滤数据 ，此回答整理自钉群“DTS客户交流群-2”

    2023-12-28 08:55:56
    赞同 展开评论
问答分类：
关系型数据库 PolarDB 分布式数据库 云数据库 ClickHouse 云原生数据库 PolarDB
问答标签：
数据传输数据 数据传输dts同步数据 dts数据 云原生数据库 PolarDB数据 云数据库 ClickHouse数据
问答地址：
开发者社区 > 数据库 > 数据库管理工具 > 问答
相关问答
数据传输DTS
集群已经运行了一年多，动态的增加一个stanby节点，polardb是否可以保证和主节点数据一致？
139
1
0
数据传输DTS中源oracle在银行的内部网络的服务器上目标polarDB在阿里云上这种网络能通吗？
178
2
0
flinkcdc 同步mysql到clickhouse为什么有的是-U +U ,有的是-D +
189
1
0
如何使用DTS迁移数据到PolarDB 2.0？
112
1
0
在PolarDB若配置成事务写前读拆分和最终一致性，那么写前读可能不能读到最新数据，对吗？
118
1
0
可观测体系能监控DTS数据同步任务和ClickHouse的内存使用预警吗？
89
1
0
PolarDB大版本升级切换数据库后dts自动中断了，怎么回事？
83
0
0
有flink CDC 同步mysql到clickhouse的案例吗？
169
0
0
flink CDC能从mysql同步到clickhouse吗？
261
1
0
在Flink CDC中flink-cdc没有抛出异常，而且ck一直成功，这个是正常现象吗？
165
8
0
数据库

数据库管理工具

阿里云提供了一系列数据库管理工具，可以满足您在云上进行数据库管理的各种需求。包含数据传输服务DTS、数据库备份 DBS、数据库自治服务 DAS、数据管理 DMS。

我要提问

相关文章

  • 《理解MySQL数据库》查询解析器深度解析：从SQL语句到执行计划的转换艺术
  • 2026版基于python大数据的招聘信息推荐与可视化系统
  • 基于python大数据的图书推荐和分析系统
  • 数据库设计基石：一文搞懂 1NF、2NF、3NF 三大范式
  • Logstash工具应用: 如何分析MySQL日志？

    • 热门讨论

    热门文章

  • DTS是什么的缩写，是什么意思？
  • 数据传输DTS 0.008元/（GB*小时）这个计费标准什么意思？我想了解一下按量计费标准?
  • 数据传输DTS这个报错是什么原因？
  • DATAX连接5.7版本mysql数据库报错，连接8.0没问题，URL没有问题
  • 数据传输DTS如何修正？
  • 百问求答（11）DMS 问题专场！回答问题赢cherry鼠标等好礼
  • 数据合并指的是什么？
  • redis数据库DMS登录后无法执行config get requirepass命令？这是为啥呀？
  • DMS今天怎么异常的慢啊？是不是有啥问题啊
  • dms访问
    • 展开全部
  • 什么是 API？
  • 全球数据安全新范式：阿里云DAS+DTS为企业打造合规出海“护航舰”
  • 阿里DataX极简教程
  • 长事务管理不再难：Saga模式全面解析
  • Navicat Premium 17 最新版下载与配置：5分钟完成企业级数据库工具部署
  • 什么是API?
  • 什么！我把SQL编辑器装进了大模型？
  • 【通讯录教程】苹果安卓鸿蒙系统通用，如何大批量导入手机号码到手机的通讯录，下面教你方法，只需1分钟搞定几万个号码的导入手机电话本
  • 数据管理进化论：DMS助力企业实现智能Data Mesh
  • 阿里云DTS踩坑经验分享系列|Redis迁移、同步
    • 展开全部
    还有其他疑问?
    咨询AI助理