备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我们的FlinkSQL数据同步任务，从kafka(ogg-json)同步到StarRocks，资源配

我们的FlinkSQL数据同步任务，从kafka(ogg-json)同步到StarRocks，资源配置是JM 1G，TM 1G，单并行度，数据量也不大（单日500W），为什么老是运行大概2~3天会内存超限，最后Container被Yarn Kill掉呢？这个里面也没有用到状态相关的

提问17.png

展开

收起

码字王 2023-08-23 16:26:58 71 0

1 条回答

写回答

取消提交回答

巴拉巴拉巴拉

你把rocksdb关掉，用heap statebackend。

此答案来自钉钉群“【2】Apache Flink China 社区"

2023-08-23 19:44:02

赞同展开评论打赏

问答分类：

消息中间件资源调度 Kafka 容器云消息队列 Kafka 版实时计算 Flink版

问答标签：

flinksql云消息队列 Kafka 版云消息队列 Kafka 版flinksql 数据同步任务云消息队列 Kafka 版同步数据同步资源

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

实时计算 Flink版

请教下，kafka2hive采用flinksql同步数据，如果想要回溯历史数据，应该怎么做呢？

21

2

0

数据传输DTS源库里面有个表锁了，但是这个表不在同步列表中，会影响数据同步的表吗？

23

3

0

Flink CDC做数据同步的时候 pg的bit(1) 怎么同步到pg另一个表的bit(1) 里去？

3

0

0

Kafka如何实现同步异步复制？

19

1

0

表格存储多 channel 或者多 worker 数据同步时会重复同步相同的数据吗？

7

1

0

Flink CDC里整库同步支持mysql->kafka吗？这个有示例吗？

22

1

0

我的 kafka数据到目标表的作业，要进行无状态启动时。Flink是不是就没办法全量同步

25

3

0

已提交的任务/v1/process/getMySubmitInApp.json

70

7

0

Flink源头是kafka，cdas支持元数据转换到starrocks了吗？

22

1

0

Flink CDC 里做全库同步的时候mysql到kafka、报这个错误是少什么东西了？

19

0

0

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

热门讨论

热门文章

FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？

flink1.15启动后无法访问webui的问题有人遇到过吗

Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行

Caused by: org.apache.kafka.common.errors.TimeoutE

Flink CDC有遇见这个问题的吗？

flinkcdc连接oracle-19c提示不支持logmnr大家有遇到的吗，报ORA-44609？

flink 1.18必须配套JDK11吗 1.8是不是不行了呢？

Flink CDC中The MySQL server has a 兄弟们这个错误咋搞啊？

flink任务报错: Job leader for job id 是啥原因导致的呢?

flink都是100%占用，请问是什么情况呢？

展开全部

数据仓库介绍与实时数仓案例

独家专访阿里集团副总裁贾扬清：我为什么选择加入阿里巴巴？

阿里云实时计算产品案例&解决方案汇总

流计算精品翻译: The Dataflow Model

Flink Checkpoint 问题排查实用指南

广告场景下的实时计算

Flink SQL 功能解密系列 —— 数据去重的技巧和思考

【对话科技】Flink技术介绍和新功能展望

日均百亿级日志处理：微博基于 Flink 的实时计算平台建设

Apache Flink 漫谈系列(15) - DataStream Connectors之Kafka

展开全部

相关课程

更多

消息队列Kafka入门课程

3098

4

去学习

JSON 自学手册图文教程

1398

9

去学习

分布式消息系统 Kafka 快速入门

640

24

去学习

相关电子书

更多

Java Spring Boot开发实战系列课程【第16讲】：Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载

MaxCompute技术公开课第四季之如何将Kafka数据同步至MaxCompute 立即下载

消息队列kafka介绍 立即下载