开发者社区大数据与机器学习实时计算 Flink 正文

flink 加工千万级的表，在流式加工处理的时候，怎么避免内存溢出啥的？

就是一个源头表大概 5KW，加工之后，写入另一个表。分页处理？或者有其它方法？感谢指教

展开

收起

游客3oewgrzrf6o5c 2022-07-07 18:07:54 564 版权

2 条回答

写回答

取消提交回答

游客mvss26javcocs

dataStreamAPI的话，不要在map invoke类的方法中频繁的new对象（此答案整理自Flink CDC 社区）

2022-07-08 10:09:04

赞同展开评论
游客bcfx2q4kttgbm

消息队列写入批量消费不就好了（此答案整理自Flink CDC 社区）

2022-07-08 10:09:04

赞同展开评论

问答分类：

流计算实时计算 Flink版

问答标签：

实时计算 Flink版流式实时计算 Flink版内存实时计算 Flink版表实时计算 Flink版内存溢出实时计算 Flink版加工

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

相关问答

实时计算 Flink版

用flink cdc取到的数据是这样的，如何去加工成需要的样式？

Flink CDC中flink-akka.remote.default-remote-内存溢出了？

195

Flink CDC流式写入doris的时候，遇到有脏数据导致任务直接faild，有没有办法处理？

175

flink 流式增量读取iceberg upsert 表，iceberg支持吗，有人知道吗？

187

有个flink SQL的内存溢出的问题，怎么解决？

539

Flink流式数仓如何简化工商银行的数据链路？

字节跳动内部流批一体的推广应用情况如何，目前有多少Flink流式作业，其中SQL作业占比多少？

对于Flink CDC，偶然重启，怎么会内存溢出呢？

用flink cdc 加工大屏的指标，怎么解决 update 语句的？

117

Flink CDC里Oracle cdc使用流式还是logminer方式？

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

收录在圈子:

阿里云实时计算Flink

199210

+ 订阅

实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。