AI 助理
备案控制台
开发者社区 问答 正文

flink 1.13.1 通过yarn-application运行批应用，处理mysql源一亿条数据

我通过flink sql，将mysql的一亿条数据传输到hive库中，通过yarn-application方式运行，结果配置16G的内存，执行失败！*来自志愿者整理的flink邮件归档

展开
收起
moonlightdisco 2021-12-08 09:57:10 873 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 彗星halation

    看看任务并行度是多少，可能是并发太大导致的内存占用？？

    *来自志愿者整理的flink邮件归档

    2021-12-08 10:12:46
    赞同 展开评论
问答分类：
SQL 关系型数据库 MySQL HIVE 流计算 云数据库 RDS MySQL 版 实时计算 Flink版 数据传输服务
问答标签：
云数据库 RDS MySQL 版数据 实时计算 Flink版数据 实时计算 Flink版mysql flink云数据库 RDS MySQL 版 实时计算 Flink版应用
问答地址：
开发者社区 > 数据库 > 问答
相关问答
删除专有网络VPC交换机是否影响该交换机下现有RDS实例的运行
92
1
0
dataworks部分定时任务显示任务异常退出，但是上yarn上显示任务运行成功这个是什么原因呢？
95
1
0
升级会影响源PolarDB MySQL引擎集群正常运行吗
63
1
0
请问FLINK-SQL作业sql文件怎样能 运行 yarn-application 模式?
162
1
0
flink cdc 为啥我从2.4升到3.1.1，在yarn上运行会有问题?
104
0
0
flink sql-client.sh yarn-per-job 运行完成后 不退出
213
0
0
flink on yarn打包运行，使用per job运行就没有问题，为什么？
88
1
0
PolarDB for MySQL 5.7 单表最大多少记录？我们现在有 7 亿条，随时在新增和删除
257
2
0
不通过web界面的方式，flink on yarn怎么查看每个并行度处理数据的情况？
134
2
0
请教一下，flink如何在flink-conf文件中配置往yarn上提交的用户
864
1
0