备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink operator 自动生成 hash 值因素有哪些

Flink operator 自动生成 hash 值因素有哪些

展开

收起

一人吃饱，全家不饿 2021-01-06 11:38:45 1021 0

1 条回答

写回答

取消提交回答

一人吃饱，全家不饿
1. 在当前 StreamNode 之前已经处理过的节点的个数，作为当前 StreamNode 的 id，添加到 hasher 中；
2. 遍历当前 StreamNode 输出的每个 StreamEdge，并判断当前StreamNode 与这个 StreamEdge 的目标 StreamNode 是否可以进行链接，如果可以，则将目标 StreamNode 的 id 也放入 hasher 中，且这个目标 StreamNode 的 id 与当前 StreamNode 的 id 取相同的值；
3. 将上述步骤后产生的字节数据，与当前 StreamNode 的所有输入 StreamNode 对应的字节数据，进行相应的位操作，最终得到的字节数据，就是当前 StreamNode 对应的长度为 16 的字节数组。
2021-01-06 11:38:53

赞同展开评论打赏

问答分类：

流计算实时计算 Flink版

问答标签：

实时计算 Flink版hash 实时计算 Flink版operator hash 实时计算 Flink版operator 实时计算 Flink版ator

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

相关产品：

实时计算 Flink版

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

实时计算 Flink版

Flink按主键hash 发往不同分区，我同事没实现，说是负载严重不均衡，不知道还有没有其他办法？

28

2

0

Flink CDC里 operator 默认添加的这个 confimap 我怎么修改啊？

14

0

0

有没有知道 flink operator 默认添加的这个 confimap 我怎么修改啊？

22

1

0

有没有知道哪里有operator里跑flink cdc的示例文档？

20

1

0

flink程序的partition的数据是根据key进行hash发送到source里面嘛？

31

2

0

Flink这种怎么看他们的hash键是哪个？

28

1

0

Flink CDC中hash分区都只分到了2个task，你这是测试数据不？

25

1

0

有大佬知道flink里面operator 的uid最终去hash的时候的规则吗测试的时候发现设置不了

209

1

0

Flink CDC 请教个问题 pg 可不可以强制走 hash join 呢？

226

0

0

请教下，flink cdc 任务 Operator Chains合并之后只有一个节点，该如何查看任务

332

0

0

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关产品

实时计算 Flink版

文档详情产品详情

热门讨论

热门文章

flinkcdc3.0整库同步mysql的数据到starrocks中全量能过去增量过不去怎么排查？

FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？

Caused by: org.apache.kafka.common.errors.TimeoutE

flink1.15启动后无法访问webui的问题有人遇到过吗

Flink-CDC 文档网站地址是什么？

Flink这个未授权访问漏洞有什么解决方案吗？

"flink-cdc-connector-mysql，这个报错怎么解决的？

flink web UI 是不是本身不支持登录认证，必须通过nginx来加登录认证？

Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行

现在flink消费kafka限速是怎么做的?

展开全部

数据仓库介绍与实时数仓案例

权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算

阿里云实时计算产品案例&解决方案汇总

回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）

为什么说流处理即未来？

阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点

【阿里内部应用】利用blink CEP实现流计算中的超时统计问题

Apache Flink 漫谈系列(06) - 流表对偶(duality)性

Flink on YARN（下）：常见问题与排查思路

计算广告与流处理技术综述

展开全部

相关课程

更多

大数据Flink实时旅游平台环境篇 2020版

582

29

去学习

Apache Flink 入门到实战 - Flink开源社区出品

1392

16

去学习

实时计算 Flink 版产品入门与实操

3806

10

去学习

开源 Flink 极速上手教程

1752

7

去学习

大数据实时计算框架Spark快速入门

778

93

去学习

Apache Flink 入门

4826

9

去学习

相关电子书

更多

Flink CDC Meetup PPT - 龚中强 立即下载

Flink CDC Meetup PPT - 王赫 立即下载

Flink CDC Meetup PPT - 覃立辉 立即下载

相关实验场景

更多