AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

clickhouse 用的repalacingmergerTree, 为什么数据没有根据主键去重,？

clickhouse 用的repalacingmergerTree, 为什么数据没有根据主键去重, 会有重复的.. 我通过final 查询的

展开
收起
爱喝咖啡嘿 2022-12-21 11:04:01 474 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 范zzhaha

    ReplacingMergeTree 1、删除具有相同排序键值的重复项。 2、数据去重是在合并期间进行的。 3、后台的合并操作在未知的时间触发，因此用户无法对合并进行计划。 4、可使用OPTIMIZE语句运行计划外的合并，但OPTIMIZE是一个很重的操作。 5、ReplacingMergeTree适合清除后台的重复数据以节省空间。——此答案整理自钉群“【③群】Apache Flink China社区”

    2022-12-21 15:08:42
    赞同 展开评论
问答分类：
云数据库 ClickHouse 实时计算 Flink版
问答标签：
云数据库 ClickHouse数据 云数据库 ClickHouse去重 云数据库 ClickHouse数据去重
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
如何在Clickhouse中将一个表的数据分组并同步到另一张表中
375
1
0
dataworks 将数据写入clickhouse里面，连接超时怎么配置？
267
1
0
DataWorks中mc同步到clickhouse的数据怎么办？
93
1
0
ClickHouse rds同步数据出现遗漏
97
1
0
Maxcompute数据表中的数据能否导入到自建的ClickHouse中
108
1
0
Flink ClickHouse结果表是否支持回撤更新数据
104
1
0
flinkcdc现在设置ck为3min中，数据延迟感觉有几十秒怎么办？
90
0
0
在dataworks数据开发创建clickhouse SQL报错，这个数据源是在哪里配置的啊？
99
1
0
DataWorks发现clickhouse中的数据变少了是什么原因？
109
1
0
flink cdc1.13不需要做完ck就能实时sink数据，这个需求怎么实现？
126
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问
收录在圈子:
阿里云实时计算Flink
199212
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

相关文章

  • 抖音基于 Flink 的 DataOps 能力实践
  • 淘宝闪购基于Flink&Paimon的Lakehouse生产实践：从实时数仓到湖仓一体化的演进之路
  • 实时计算系列-----第一话：前言
  • Flink Agents：基于Apache Flink的事件驱动AI智能体框架
  • Flink基于Paimon的实时湖仓解决方案的演进

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink-CDC-3.0 mysql to doris 数据同步任务 经常报错
  • 在斗鱼，实时计算发展的历程如何？
  • 请问如何用flink sql客户端用yarn application模式提交任务呢？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • Flink CDC我自定义了一个flink SQL的Kafka分区器，有遇到这个问题的吗？
  • 在Flink CDC中ogg可以做实时同步吗？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • Apache Flink未授权访问上传导致的RCE漏洞，这个漏洞目前方案解决吗？
  • 不同版本的 flink 如何适配不同版本 kafka，flink-connect-kafka 版本
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • 独家专访阿里集团副总裁贾扬清：我为什么选择加入阿里巴巴？
  • 实时计算 Flink SQL 核心功能解密
  • 流计算StreamCompute
  • 通过Flink实时构建搜索引擎的索引
  • 阿里云实时计算产品案例&解决方案汇总
  • 流计算精品翻译: The Dataflow Model
  • 接着！！Apache Flink 全领域干货合集（持续更新）
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 为什么说流处理即未来？
    • 展开全部
    还有其他疑问?
    咨询AI助理