开发者社区 > 大数据与机器学习 > 实时数仓 Hologres > 正文

从ClickHouse 迁移到 Hologres,应该怎么做呢?

从ClickHouse 迁移到 Hologres,应该怎么做呢?

展开
收起
1358896759097293 2021-03-25 11:05:10 2783 0
1 条回答
写回答
取消 提交回答
  • 45271990@qq.com

    ClickHouse 自带存储引擎,支持实时数据,并提供亚秒级查询,C++实现的 OLAP 分布式列式数据库。 适用场景有:  海量明细数据存储  单表聚合类查询  写入可见性/一致性要求不高 不适用的场景有:  高 QPS 查询  高 QPS 更新  需要 join 的场景  迁移方案 常见实时数仓写入链路,通过Flink将实时日志数据写入到ClickHouse中。 这里将会涉及到两种数据迁移。首先是增量数据迁移,Hologres 紧密结合 Flink 生态,如果客户之前是通过 Flink 来 向 ClickHouse 写入实时数据,那么通过 Hologres Connector 就能可以方便地将数据导 入 Hologres,将增量数据迁移过来。 然后是存量数据迁移,由于 DataX 等插件,暂不支持 ClickHouse Reader。 如果 已经在 ClickHouse 中存储了存量数据,需要搬迁至 Hologres,目前可以用 ClickHouse -> COPY OUT -> Data File -> COPY IN -> Hologres 的链路,需要确定好字符 集、分隔符和 NULL 标记等规范就能迁移。

    2021-03-25 13:58:28
    赞同 展开评论 打赏

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

相关产品

  • 实时数仓 Hologres
  • 相关电子书

    更多
    实时数仓Workshop(广州站)- 朱杰 立即下载
    ClickHouse在手淘流量分析应用实践Jason Xu 立即下载
    云数据库clickhouse最佳实践 立即下载