AI 助理
备案控制台
开发者社区 大数据与机器学习 实时数仓 Hologres 正文

实时数仓holo在数据碰撞中有什么比较好的方案吗？

有数据需要从clickhouse迁移到hologres中，在ck中由后台做的数据去重功能，现在需要将这份数据同时也写到hologres中如果没有对应的这种引擎，数据碰撞是比较快的这块在hologres中有什么比较好的方案吗这个引擎作用就是，当devcie_id，phone....这些字段相同时，保留log_update_time最大的数据
d7702b0b1bc8ab5db001ce618d1f3274.png

展开
收起
土豆吃小鸡 2024-08-06 22:54:59 102 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 老艺术家A

    可以把device_id, phone...作为主键，然后使用类似hbase的checkAndPut方法去写入。我们的客户端holo_client应该有提供类似接口的。此回答整理自钉群“实时数仓Hologres交流群”

    2024-08-06 23:37:14
    赞同 6 展开评论
问答分类：
实时数仓 Hologres
问答标签：
云原生数据仓库AnalyticDB MySQL版数据 实时数仓 Hologres数据 云原生数据仓库AnalyticDB MySQL版方案 实时数仓 Hologres holo数据 实时数仓 Hologres方案
问答地址：
开发者社区 > 大数据与机器学习 > 实时数仓 Hologres > 问答
相关问答
实时数仓 Hologres
把mc的外表映射到hologres里面，然后往另外一张holo表写数据，报内存不足，有啥好办法？
191
1
0
hologres在服务里用psycopg2连接Holo，不定时进行sql查询，跑一会连接就断开了?
158
1
0
如果是 hologres映射emr的表，怎么弄呢 这个是在holo里面执行吗?
113
1
0
hologres能映射emr的hive外表吧 hive 表往 holo 写数据 有啥好的办法 ？
157
1
0
Hologres这边RAM账号登录holo实例，用户授权了，但是还是识别不到已有的数据库，怎么回事？
164
1
0
快手实时数仓如何保障数据精度？
80
1
0
为了解决离线数仓的问题，实时数仓使用了什么方案？
78
1
0
为什么实时数仓不是解决所有问题的最佳方案？
51
1
0
在实时数仓Hologres中holoclient写入分区表数据的时候能不停实时程序，新增字段吗？
76
1
0
实时数仓holo云监控上面实例中的内存详细使用率这个指标值每天一直在往上涨，是否符合预期？
108
1
0
大数据与机器学习

实时数仓 Hologres

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等，也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

我要提问

相关文章

  • 实时数仓Hologres V3.1版本发布，Serverless型实例从零开始构建OLAP系统
  • MaxCompute x 聚水潭：基于近实时数仓解决方案构建统一增全量一体化数据链路
  • 实时数仓和离线数仓还分不清楚？看完就懂了
  • Lazada 如何用实时计算 Flink + Hologres 构建实时商品选品平台
  • 淘宝闪购基于Flink&Paimon的Lakehouse生产实践：从实时数仓到湖仓一体化的演进之路

    • 热门讨论

    热门文章

  • CCO是什么？
  • Hologres中datav 价格怎么样？
  • call spm_enable()时，提示 because roles conflict
  • HSAP 架构在大数据技术应用中有何意义？
  • 如何解决角色 BASIC$hologres_yqp 因数据库对象依赖而无法删除的问题？
  • 在FBI产品搭建的核心流程中，可以通过哪4个核心功能大幅降低搭建成本？
  • Hologres和ADB的区别是什么，这两个产品应该怎么选型？
  • Hologres支持全文索引么？ 或者对于大字段做模糊匹配 有什么好的方法能提高查询性能？
  • Hologres设计的字段允许为空，为什么执行时还是提示不能有空值？
  • Hologres holo报日期转换超限 怎么处理?
    • 展开全部
  • 深度分析：Apache Doris及其在大数据处理中的应用
  • 森马基于MaxCompute+Hologres+DataWorks构建数据中台
  • 实时数仓Hologres V3.1版本发布，Serverless型实例从零开始构建OLAP系统
  • 使用实践｜Hologres性能调优全方位解读
  • Hologres+Flink企业级实时数仓核心能力介绍
  • 钱大妈数据中台建设最佳实践
  • 一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01
  • 技术原理，Hologres Binlog技术原理揭秘
  • 首次揭秘云原生Hologres存储引擎
  • Hologres揭秘:深度解析高效率分布式查询引擎
    • 展开全部
    还有其他疑问?
    咨询AI助理