问题一:Flink 1CU写入是多少阿?比如说是Holo或者CK之类的
Flink 1CU写入是多少阿?比如说是Holo或者CK之类的
参考回答:
建议自己测试下,这个与你下游的负载、你上游的计算都有非常密切的关系。单独跑一个下游写数据其实意义不大。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573834
问题二:Flink这个kafka云产品能不能扩容磁盘?
Flink这个kafka云产品能不能扩容磁盘?
参考回答:
Apache Flink 是一个流处理和批处理的框架,而 Apache Kafka 是一个分布式消息队列系统。两者可以一起使用以实现实时数据处理流水线。
关于扩容磁盘的问题:
- Flink:Flink 本身并不直接管理存储资源,如磁盘。Flink 只是读取、处理和写入数据到不同的数据源或目标中。因此,如果需要为 Flink 增加磁盘容量,你需要考虑的是运行 Flink 的机器或者容器的存储资源。
- Kafka:Kafka 存储其主题的数据在磁盘上,因此增加 Kafka 磁盘空间通常是通过调整 Kafka 节点上的物理磁盘配置来实现的。如果你正在使用云服务提供商提供的 Kafka 服务,那么可能需要查看该提供商的具体文档来了解如何扩展磁盘空间。
对于阿里云这样的云服务提供商来说,它们通常会提供对 Kafka 集群进行磁盘扩容的功能。例如,在阿里云的 KAFKA 实时计算服务中,你可能可以通过以下步骤来扩大磁盘容量:
- 登录阿里云控制台。
- 找到你的 Kafka 服务实例。
- 在实例详情页面,找到与磁盘扩容相关的设置选项。
- 根据提示选择要扩展的磁盘类型和大小,并提交请求。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573833
问题三:Flink涉及到大维表join的数据同步,在全量读取阶段有什么好的优化策略吗?
Flink涉及到大维表join的数据同步,在全量读取阶段有什么好的优化策略吗?维表是mysql,目前mysql维表应该是不支持异步和攒批处理的,维表数据量比较大,也不太适合全部放在内存中。
参考回答:
是读取的时候源库的压力还是ALL 的Cache策略导致的内存撑不住?我看你的意思主要是后者对吧。如果是后者,https://help.aliyun.com/zh/flink/developer-reference/join-statements-for-dimension-tables?spm=a2c4g.11174283.0.i1#bf61f79067t4x SHUFFLE_HASH可以试一下。当然,如果你真的是一张天量的维表,这个确实需要开大内存了。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573832
问题四:Flink这个应该怎么做,才能满足?
Flink这个应该怎么做,才能满足?我想统计同一用户最近一小时的总点击数,近一小时不是整点的小时,是指基于最新一条数据的时间,往前一小时,统计这个范围的总点击数;目前出来的结果是,所有该用户的点击数,不只是一个小时的。
参考回答:
是不是可以用over窗口实现,或者试试Timer。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573830
问题五:Flink数据源长时间没有数据进来,窗口的触发器怎么触发执行?
Flink数据源长时间没有数据进来,窗口的触发器怎么触发执行?
参考回答:
现在还无法实现。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573829