开发者社区> 问答> 正文

flink 1.11.2 keyby 更换partition

请问可以更改keyby的hash partition 不? 现在发现这个hash partition不能均匀的分配key。

KeyGroupRangeAssignment.assignKeyToParallelOperator(stringToMd5(asset_id),

128, parallesism)

用这个方法测试,即使个asset_id 转换为MD5都不能均匀分配。

相反,用最最简单的 Math.abs(asset_id.hashcode() % parallesism ) 就可以平均的分配key。

*来自志愿者整理的flink邮件归档

展开
收起
说了是一只鲳鱼 2021-12-07 11:12:30 849 0
1 条回答
写回答
取消 提交回答
  • 不太明白你这里问题,如果是说按照 Md5 进行 keyby 不均匀,直接用 hashcode keyby 会更均匀的话,是不是直接把计算

    md5 的逻辑改成计算 hashcode 的逻辑就行了*来自志愿者整理的flink邮件归档

    2021-12-07 11:27:05
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载