AI 助理
备案控制台
开发者社区 问答 正文

flink 1.13.1 通过yarn-application运行批应用，处理mysql源一亿条数据

我通过flink sql，将mysql的一亿条数据传输到hive库中，通过yarn-application方式运行，结果配置16G的内存，执行失败！*来自志愿者整理的flink邮件归档

展开
收起
moonlightdisco 2021-12-08 09:57:10 877 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 彗星halation

    看看任务并行度是多少，可能是并发太大导致的内存占用？？

    *来自志愿者整理的flink邮件归档

    2021-12-08 10:12:46
    赞同 展开评论
问答分类：
SQL 关系型数据库 MySQL HIVE 流计算 云数据库 RDS MySQL 版 实时计算 Flink版 数据传输服务
问答标签：
实时计算 Flink版运行 云数据库 RDS MySQL 版数据 实时计算 Flink版数据 实时计算 Flink版mysql flink云数据库 RDS MySQL 版
问答地址：
开发者社区 > 数据库 > 问答
相关问答
删除专有网络VPC交换机是否影响该交换机下现有RDS实例的运行
95
1
0
dataworks部分定时任务显示任务异常退出，但是上yarn上显示任务运行成功这个是什么原因呢？
96
1
0
升级会影响源PolarDB MySQL引擎集群正常运行吗
69
1
0
请问FLINK-SQL作业sql文件怎样能 运行 yarn-application 模式?
168
1
0
flink cdc 为啥我从2.4升到3.1.1，在yarn上运行会有问题?
108
0
0
flink sql-client.sh yarn-per-job 运行完成后 不退出
223
0
0
flink on yarn打包运行，使用per job运行就没有问题，为什么？
93
1
0
AnalyticDB MySQL3.0正在运行的查询功能怎么没了
58
1
0
Flink中任务的运行容器是什么？
855
1
0
各位大佬，请教一下，如果在flink cdc sql客户端 使用SQL查询表，怎么能记录原系统的数据
2084
1
0