"Flink RocksDB性能问题 "-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

"Flink RocksDB性能问题 "

2018-11-28 15:57:01 5489 1

"我有一个flink工作(scala)基本上是从kafka-topic(1.0)读取,聚合数据(1分钟事件时间翻滚窗口,使用折叠函数,我知道这是弃用的,但比聚合更容易实现功能),并将结果写入2个不同的kafka主题。

问题是 - 当我使用FS状态后端时,一切运行顺利,检查点需要1-2秒,平均状态大小为200 mb - 也就是说,直到状态大小增加(同时缩小差距,例如)。

我想我会尝试使用rocksdb(over hdfs)作为检查点 - 但吞吐量明显低于fs状态后端。据我所知,当使用fs状态后端时,flink不需要为每个状态访问进行ser / deserialize,因为状态保存在内存(堆)中,岩石db DOES,我猜这是导致减速的原因(和背压,检查点需要更长时间,有时10分钟后超时)。

尽管如此,有时候状态不能适应内存,我试图弄清楚如何使rocksdb状态后端执行“更好”。

是因为弃用的折叠函数?我是否需要微调一些在文档中不易搜索的参数?"

取消 提交回答
全部回答(1)
相关问答

1

回答

问下大家,flink sql 的Row函数,里面的字段应该可以是任意表达式吧?

2022-09-02 16:14:07 126浏览量 回答数 1

1

回答

flink sql 中怎么把ROW类型转换成INT?

2021-12-06 19:59:08 289浏览量 回答数 1

1

回答

提交flink sql任务报错

2021-12-07 11:14:49 749浏览量 回答数 1

1

回答

请教大神们关于flink-sql中数据赋值问题

2021-12-07 10:53:25 535浏览量 回答数 1

1

回答

Flink SQL传递性

2021-12-07 10:49:52 506浏览量 回答数 1

1

回答

Flink sql 转义字符问题

2021-12-06 22:01:07 832浏览量 回答数 1

1

回答

flink sql实时计算分位数如何实现

2021-12-06 11:44:19 943浏览量 回答数 1

1

回答

Flink SQL Row里嵌套Array<Row>该如何用DDL定义?

2021-12-06 11:30:28 495浏览量 回答数 1

1

回答

flink sql能否显示地创造一列null行?

2021-12-06 16:21:03 338浏览量 回答数 1

1

回答

Flink SQL:用于连接表的内存不足

2018-12-06 18:03:05 3379浏览量 回答数 1
+关注
flink小助手
flink小助手会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关flink的问题及回答。
0
文章
377
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载