flink mysql to hudi 写入特别慢 那个大哥 可以帮忙分析下？
问题1:flink mysql to hudi 写入特别慢 那个大哥 可以帮忙分析下？
1分钟才写入两万的数据 太慢了，那个大哥碰到过？会更新的 问题2:那我先用COPY_ON_WRITE 一次性写入全量数据，还能再改为MERGE_ON_READ 接增量的数据么，这个不太行 领导不让中间再加kafka了，我先把hudi这个测同 再试试那个 两个对比下
展开
收起
1
条回答
写回答
写回答
-
回答1:hudi后台要做合并的肯定慢的，如果你数据不会更新的话，可以用追加写就快了，那确实快不了，或者你可以考虑去下游做合并或者去重，那你可以只追加写，hudi写入+合并就是不快的，'table.type' = 'COPY_ON_WRITE'，改成这个就快了，但是只会追加写 回答2:那你可以用cdc把数据写到kafka，你先COPY_ON_WRITE 一次性写入全量数据，然后把任务停掉，改成MERGE_ON_READ，指定offset启动，此回答整理自钉群“Flink CDC 社区”
2023-05-23 17:12:06赞同 展开评论 打赏
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
P人出游，你是否需要一个懂你更懂规划的AI导游呢？来搭建专属文旅问答机器人吧
7662
AI生成海报or人工手绘，哪个更戳你？
2385
FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
2200
DataWorks我该如何访问A项目安装了项目的package资源？
2184
dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？
2955
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
3782
虚拟机占用内存特别大，90多个G,网上各种方法都试过了，怎么解决这个问题
1644
Flink如何配置Task Manager？
847
Elasticsearch中docs.deleted 这个里面的数据怎么彻底删掉呢？
13691
1.15版本中FlinkKafkaProducer已经是过时用法，有更好的解决方法吗？
294
展开全部
每个人都应该知道的25个大数据术语
42798
【玩转数据系列二】机器学习应用没那么难，这次教你玩心脏病预测
27208
美柚：最懂女性App背后的混合云架构与大数据服务
24055
独家专访阿里集团副总裁贾扬清：我为什么选择加入阿里巴巴？
17650
使用 MaxCompute Studio 开发大数据应用
15401
【玩转数据系列一】人口普查统计案例
16373
MaxCompute上如何处理非结构化数据
13050
Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
16655
SQL优化器原理 - Join重排
12186
美柚与MaxCompute数据同步架构说明
10757
展开全部
