flink mysql to hudi 写入特别慢 那个大哥 可以帮忙分析下？
问题1:flink mysql to hudi 写入特别慢 那个大哥 可以帮忙分析下？
1分钟才写入两万的数据 太慢了，那个大哥碰到过？会更新的 问题2:那我先用COPY_ON_WRITE 一次性写入全量数据，还能再改为MERGE_ON_READ 接增量的数据么，这个不太行 领导不让中间再加kafka了，我先把hudi这个测同 再试试那个 两个对比下
展开
收起
1
条回答
写回答
写回答
-
回答1:hudi后台要做合并的肯定慢的，如果你数据不会更新的话，可以用追加写就快了，那确实快不了，或者你可以考虑去下游做合并或者去重，那你可以只追加写，hudi写入+合并就是不快的，'table.type' = 'COPY_ON_WRITE'，改成这个就快了，但是只会追加写 回答2:那你可以用cdc把数据写到kafka，你先COPY_ON_WRITE 一次性写入全量数据，然后把任务停掉，改成MERGE_ON_READ，指定offset启动，此回答整理自钉群“Flink CDC 社区”
2023-05-23 17:12:06赞同 展开评论 打赏
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
1092
P人出游，你是否需要一个懂你更懂规划的AI导游呢？来搭建专属文旅问答机器人吧
1725
兄弟们啊，同步中DI、RI到底什么意思，是什么的缩写？
353
虚拟机占用内存特别大，90多个G,网上各种方法都试过了，怎么解决这个问题
1367
数据来源：com.alibaba.fastjson.JSONException: syntax er
5525
Slot request bulk is not fulfillable，20以上job同时部署失败
699
dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？
2593
Caused by: org.apache.kafka.common.errors.TimeoutE
3230
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
3512
Dataphin和 Dataworks 有啥区别呢？
1840
展开全部
阿里云开源离线同步工具DataX3.0介绍
105442
【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类
49585
DataV回调id——从入门到精通
68697
盘古：阿里云飞天分布式存储系统设计深度解析
45052
odps是什么?
71587
拍立淘-以图搜图中的图像搜索算法
36975
DataV基础版如何制作单独省份地图？
35304
DataV地图组件全新发布，带你玩转地理大数据
31453
【技术实验】mysql准实时同步数据到Elasticsearch
24223
阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能
24704
展开全部
相关课程
更多
相关电子书
更多
