AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

flink source impala sink hudi的cow+upsert任务一直在反复的报错

flink source impala sink hudi的cow+upsert任务一直在反复的报这几个错误，是不是集群资源（内存和磁盘）的不足导致的？我6亿的数据量JM给了8G,TM给了10G.下图分别是JM和TM的日志 3d183cacef9f11e353789c56a65e53e1.png 0405280ee74ba16895487ffed626ae30.png e86489ae2b22cf8a3acc2902eb51d06b.png 629a18cd20c670030aced275b48aa765.png 100ad74d4cb01310cdd0589049faa175.jpg

展开
收起
爱喝咖啡嘿 2022-12-21 11:54:11 375 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 范zzhaha

    我看报错里面有连接拒绝，确定下能否通信，我之前测试flink 写hudi 用的模式也是cow + upsert，不过数据源我是mysql ，数据量也就90万，写入好像没啥问题。——此答案整理自钉群“【③群】Apache Flink China社区”

    2022-12-21 15:27:13
    赞同 展开评论
问答分类：
流计算 实时计算 Flink版 日志服务
问答标签：
实时计算 Flink版任务 实时计算 Flink版报错 实时计算 Flink版Source 实时计算 Flink版Sink 实时计算 Flink版source sink
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
有没有用 flink cdc 和spark hudi集成的？
97
0
0
你们是如何解决Hudi与Flink的checkpoint一致性问题的？
116
1
0
在Hudi on Flink的初期使用中，你们遇到了哪些问题，并与Hudi社区一起进行了哪些优化？
79
1
0
为什么选择Flink和Hudi作为增量化方案的核心组件？
82
1
0
flink cdc写入hudi的用hive管理元数据的表，这个是什么问题呢？
144
0
0
在Flink CDC中sink hudi 遇到这个问题怎么解决？
88
1
0
Flink有没有尝试写入数据到hudi，存储在本地文件系统的？
193
5
0
Flink hudi源表和结果表支持的相关参数以及具体限制
53
1
0
Flink CDC里16.2版本集成Hudi有没有详细文档，哪些包需要注意冲突啊？
102
0
0
请教个Flink问题，从hudi读数据，报错，什么原因?
158
3
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问
收录在圈子:
阿里云实时计算Flink
199212
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

相关文章

  • Flink基于Paimon的实时湖仓解决方案的演进
  • 无需复杂正则：SLS 新脱敏函数让隐私保护更简单高效
  • 生成更智能，调试更轻松，SLS SQL Copilot 焕新登场！
  • 站在巨人的肩膀上：gRPC通过HTTP/2构建云原生时代的通信标准
  • 基于模型预测控制对PMSM进行FOC控制，模拟控制了PMSM的速度（Simulink仿真实现）

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink-CDC-3.0 mysql to doris 数据同步任务 经常报错
  • 在斗鱼，实时计算发展的历程如何？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • Flink CDC我自定义了一个flink SQL的Kafka分区器，有遇到这个问题的吗？
  • 在Flink CDC中ogg可以做实时同步吗？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • Apache Flink未授权访问上传导致的RCE漏洞，这个漏洞目前方案解决吗？
  • Flink-CDC 文档网站地址是什么？
  • Flink解析json到表，有没有强大的插件？
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • 通过Flink实时构建搜索引擎的索引
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 使用 Kafka 和 Flink 构建实时数据处理系统
  • Flink: 实时规则引擎助力新零售发展
  • 日均百亿级日志处理：微博基于 Flink 的实时计算平台建设
  • Apache Flink 漫谈系列(06) - 流表对偶(duality)性
  • 重磅揭晓！Flink Forward Asia 2019 议程完整出炉
  • Apache Flink 零基础入门（一）：基础概念解析
  • Hive 终于等来了 Flink
    • 展开全部
    还有其他疑问?
    咨询AI助理