开发者社区 > 云原生 > 中间件 > 正文

mysql同步到clickhouse,用什么中间件啊?

如果自己搭建的话不用DTScanal还有其他的吗

展开
收起
雪哥哥 2022-10-18 23:00:49 6027 0
7 条回答
写回答
取消 提交回答
  • 云数据库ClickHouse支持通过创建RDS MySQL分析实例将RDS MySQL数据同步至云数据库ClickHouse。 使用限制 - 云数据库ClickHouse的云原生版集群不支持RDS MySQL分析实例。 - 目标实例只支持20.8及其以上版本的云数据库ClickHouse社区兼容版集群。 - 用户具有RDS MySQL的Binlog访问权限以及RDS MySQL数据库的RELOAD、REPLICATION SLAVE、REPLICATION CLIENT和SELECT权限。 - RDS MySQL实例版本需满足以下条件才可以创建RDS MySQL分析实例: RDS MySQL 8.0三节点企业版 RDS MySQL 8.0高可用版(SSD云盘、ESSD云盘或本地SSD盘) RDS MySQL 5.7三节点企业版 RDS MySQL 5.7高可用版(SSD云盘、ESSD云盘或本地SSD盘) RDS MySQL 5.6 - RDS MySQL源实例和云数据库ClickHouse目标实例在必须在同一地域、同一VPC网络。 - 同一集群的同一数据库不能重复配置同步任务。 没有主键的表无法同步。 - 云数据库ClickHouse的DateTime类型数据的时间范围为[1970-01-01 00:00:00,2106-02-07 06:28:15],如果RDS MySQL中的时间超出当前范围,会导致同步到云数据库ClickHouse的时间值不正确。 image.png image.png

    2022-11-06 21:23:25
    赞同 1 展开评论 打赏
  • 可以使用Bifrost ---- 面向生产环境的 MySQL,MariaDB 同步到Redis,ClickHouse,Elasticsearch等服务的异构中间件

    Bifrost 特点 - 支持 MySQL,MariaDB 所有存储类型 - 界面化动态灵活配置不同的数据表及目标库 - 多种数据源,多种目标库支持 - 同时支持增量及全量数据同步 - 一个Binlog解析线程,多个目标库并行同步 - 宕机后重启自动恢复配置,位点精确控制 - 支持 Email 及 微信企业号等监控报警功能 - 提供第三方监控平台访问接口(Http Basic验证)HTTP API - MySQL,ClickHouse 插件支持 DDL 同步 - 简单即可实现插件开发

    2022-10-31 18:04:09
    赞同 展开评论 打赏
  • 一直在寻找如何存储大数据的解决办法,碰巧在技术网站上了解到了Clickhouse,能支撑几十亿甚至百亿以上的数据量,顿时我觉得有必要去部署一套用用。

    2022-10-31 13:55:25
    赞同 展开评论 打赏
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    这个有两种情况,首先要看你说的mysql是自行下载安装的mysql官网的本地数据库,还是直接用的阿里云的RDS MySQL数据库:

    如果是本地的数据库服务,那么你需要参考云数据库clickhouse的官方文档【从本地数据导入】,文档地址:https://help.aliyun.com/document_detail/146005.html,这里需要通过clickhouse-client工具将本地文件的数据导入至云数据库ClickHouse,具体的clickhouse-client工具的安装以及详细的操作步骤都可以参考上面的文档,另外具体支持的本地数据文件的格式可以参考地址:https://clickhouse.com/docs/zh/interfaces/formats,操作中需要注意的是【请提前将本地机器的IP地址添加到云数据库ClickHouse的白名单中】;

    如果是RDS MySQL数据库,那操作就简单了,毕竟是一个体系的产品,跨度也就相对没那么大,操作详细步骤参考:https://help.aliyun.com/document_detail/196622.html,云数据库ClickHouse支持通过创建RDS MySQL分析实例将RDS MySQL数据同步至云数据库ClickHouse,还有其他疑问的话欢迎继续交流

    2022-10-26 13:05:37
    赞同 1 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    离线:datax ,实时:canal+flink

    2022-10-26 13:05:37
    赞同 展开评论 打赏
  • 码中自由一片天地。。。

    可以使用Tapdata Cloud工具,阿里的ClickHouse内置同步功能也可以哈

    2022-10-25 09:18:27
    赞同 展开评论 打赏
  • 亚马逊云科技合作伙伴解决方案架构师,亚马逊云科技User Group Leader,多年云计算经验,csdn/阿里云等平台优质作者,亚马逊云科技社区建设者,亚马逊云科技培训与认证云领袖合作作者,专注于云计算、云原生领域。

    直接使用阿里云ClickHouse内置的同步功能即可,请参考如下文档 https://help.aliyun.com/document_detail/196622.html?scm=20140722.S_help%40%40%E6%96%87%E6%A1%A3%40%40196622..ID_196622-RL%E5%AE%89%E5%8D%93%E5%81%9A%E4%BA%91%E6%95%B0%E6%8D%AE%E5%BA%93-LOC_main-OR_ser-V_2-P0_71

    2022-10-24 13:43:59
    赞同 展开评论 打赏
滑动查看更多

为企业提供高效、稳定、易扩展的中间件产品。

相关电子书

更多
让 MySQL 原生分布式触手可及 立即下载
ClickHouse在手淘流量分析应用实践Jason Xu 立即下载
云数据库clickhouse最佳实践 立即下载

相关镜像