开发者社区 > 大数据与机器学习 > 正文

flink mysql to hudi 写入特别慢 那个大哥 可以帮忙分析下?

问题1:flink mysql to hudi 写入特别慢 那个大哥 可以帮忙分析下?image.png 1分钟才写入两万的数据 太慢了,那个大哥碰到过?会更新的 问题2:那我先用COPY_ON_WRITE 一次性写入全量数据,还能再改为MERGE_ON_READ 接增量的数据么,这个不太行 领导不让中间再加kafka了,我先把hudi这个测同 再试试那个 两个对比下

展开
收起
cuicuicuic 2023-05-23 17:01:00 208 0
1 条回答
写回答
取消 提交回答
  • 回答1:hudi后台要做合并的肯定慢的,如果你数据不会更新的话,可以用追加写就快了,那确实快不了,或者你可以考虑去下游做合并或者去重,那你可以只追加写,hudi写入+合并就是不快的,'table.type' = 'COPY_ON_WRITE',改成这个就快了,但是只会追加写 回答2:那你可以用cdc把数据写到kafka,你先COPY_ON_WRITE 一次性写入全量数据,然后把任务停掉,改成MERGE_ON_READ,指定offset启动,此回答整理自钉群“Flink CDC 社区”

    2023-05-23 17:12:06
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像