AI 助理
备案控制台
开发者社区 问答 正文

Flink读取SLS时一个并发读取多个shard的原因

已解决

Flink读取SLS时一个并发读取多个shard的原因

展开
收起
提个问题 2024-06-07 15:11:57 40 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 社区答人
    开发者社区问答官方账号
    官方回答
    采纳回答
    Flink读取SLS时一个分区读取多个shard原因如下：
    case1: SLS扩容了没重启作业；
    case2: SLS的shardID不连续（Flink使用shardID取模来分配subtask，如果shardID不连续，会导致一个分区读取多个shard）。
    2024-06-07 15:11:58
    赞同 展开评论
问答分类：
流计算 实时计算 Flink版 日志服务
问答标签：
实时计算 Flink版sls 日志服务并发 实时计算 Flink版并发 日志服务flink 实时计算 Flink版sls shard
问答地址：
开发者社区 > 大数据 > 问答
关联地址：
问产品> 实时计算 Flink版
相关问答
实时计算 Flink版
Flink Hologres源表有并发处于Finished状态
52
1
0
Flink SLS json数据如何不解析下发至结果表
54
1
0
Flink 文档中 sls connect 版本是不对么？
117
1
0
适用于Flink 1.17.0的SLS连接器版本号是多少呢？
77
2
0
flink1.17.0 读取 SLS 报错是对应的版本冲突么？
98
2
0
flink是实时读取sls日志的，哪个字段能可以设置读取的开始时间？
77
1
0
在使用WebTracking JavaScript SDK写入SLS日志时有没有并发限制？
55
1
0
实时计算平台如何确保在大并发下的稳定性和性能？
34
1
0
Flink的并发度 可以动态更新 我改完以后 怎么确定它已经更新了？
35
1
0
实时计算Flink版SLS源表指定相同consumerGroup会有什么影响
31
1
0