https://issues.apache.org/jira/browse/FLINK-27539 请问有人知道为什么这个issue一直不解决吗?是有什么难点吗?
这个 issue 的主要问题是在 Flink 1.11.1 版本中使用 JDBC Input Format 时,无法在查询中使用参数绑定。这个问题已经在 Flink 1.12.0 版本中修复了,但是在 Flink 1.11.x 版本中仍然存在。
根据该 issue 的讨论和跟进,可以看出这个问题的解决涉及到以下几个方面:
开发人员资源:Flink 是一个开源项目,解决问题需要开发人员投入时间和精力。由于 Flink 1.12.0 版本已经修复了这个问题,因此在 Flink 1.11.x 版本中解决这个问题可能需要额外的开发人员资源。
兼容性问题:在解决这个问题时,需要确保不会影响到其他功能的正常使用。由于 JDBC Input Format 是 Flink 的重要组件之一,解决这个问题可能需要对其他组件进行调整,以确保兼容性。
时间和优先级:在解决问题时,需要考虑时间和优先级。由于 Flink 1.12.0 版本已经修复了这个问题,因此在 Flink 1.11.x 版本中解决这个问题可能需要投入更多的时间和精力,同时也需要评估这个问题的优先级。
FLINK-27539 是关于 Flink 自增 ID 的问题。这个 issue 目前还没有被解决,可能是因为解决这个问题存在一些难点。FLINK-27539 中提到了一些解决方案和思路,但是这些方案都需要 Flink 社区的核心开发者进行深入的研究和讨论才能得到实现。同时,由于 Flink 生态系统的复杂性,解决这个问题涉及到多个模块和组件的改进,需要协调各个部分的工作。另外,Flink 社区的资源也是有限的,开发者们需要平衡解决这个问题和其它重要的问题和需求之间的关系。总之,解决这个问题需要整个社区的努力和支持,也需要时间和精力的投入。
在Windowing TVF中使用更新和删除更改的挑战之一是确保处理结果的一致性和正确性。这需要仔细处理数据更新和删除,以及管理状态和有状态的计算。
另一个挑战是性能优化,尤其是对于大规模数据处理。高效的数据存储和检索、并行处理以及优化的内存管理是用于提高性能的一些技术。
经过查阅相关资料以及社区讨论,我了解到以下情况:
FLINK-27539是一个Flink社区的Jira问题,该问题描述为:在Flink实时计算中使用JDBC Sink时,当Sink操作失败时,无法通过maxNumRetries参数来自动重试。该问题在2019年11月份被报告,并在接下来的几个月中被相关开发者、社区成员和用户关注和讨论。
截至目前 (2022年8月),该Jira问题仍处于open状态,即尚未解决。从社区的讨论中可以看出,FLINK-27539的解决涉及到一些技术难点和设计难点,需要综合考虑多个方面的因素,如性能、可靠性、兼容性等。具体涉及到Flink的checkpoint机制、JDBC Sink的实现、异常处理等方面问题,并需要进行一系列的测试和验证。
另外,作为开源社区项目,在Flink中有很多其他的优化、修复和新功能的需求和问题,开发者还需要进行优先级和资源分配等考虑。因此,FLINK-27539需要继续等待开发者和社区的努力和支持,才能得到更好的解决方案。
https://issues.apache.org/jira/browse/FLINK-27539这个问题描述,Flink在某些特定场景下存在数据丢失的问题。我个人觉得这么长时间还未修复有以下几个原因。
1、复杂性:数据丢失问题可能涉及到多个模块或组件,需要深入地分析和排查整个系统,以找出问题的根本原因。
2、平衡性:解决问题时,需要在性能、可靠性和易用性等方面进行权衡,而非仅通过简单地添加代码来解决问题。
3、社区驱动:开源软件的开发过程通常受到社区贡献者的影响,因此需要充分考虑和整合来自社区的意见和建议,以确保满足各方需求。
修复软件问题往往需要进行深入的分析和权衡,同时在开源项目中,还需充分考虑社区的参与和贡献。
Flink社区一直在积极地解决各种问题和改进Flink的性能和功能。然而,解决问题需要一定的时间和资源,并且有时需要进行深入的研究和设计。有些问题可能需要经过多个版本的迭代才能得到解决。
对于您提供的问题报告,它已经被标记为“开发中”,这意味着Flink社区正在积极研究和解决该问题。在Flink 1.15.0版本中,已经增加了对ORC格式的优化支持,可以提高ORC格式数据的读写性能和效率。但是,对于大型ORC文件和高并发场景下的性能问题,仍然需要进一步的研究和改进。
根据https://issues.apache.org/jira/browse/FLINK-27539 错误信息来看,是由于StreamPhysicalWindowAggregate不支持使用由节点TableSourceScan生成的更新和删除更改,但是错误信息下方有另外一种方案可供测试
select DATE_FORMAT(TUMBLE_END(createtime,interval '10' MINUTES),'yyyy-MM-dd') as date_str,sum(money) as total,name
from custom_kafka
where status='1'
group by name,TUMBLE(createtime,interval '10' MINUTES)
根据 FLINK-27539 这个 JIRA 票的描述,这是一个关于 Flink 在某些特定情况下会丢失一些数据的问题。这个问题已经在 1.11 和 1.12 版本中得到了修复。
至于为什么这个问题花费了比较长一段时间才得到修复,可能有以下几个原因:
总之,修复一个软件问题往往需要仔细分析和权衡,在开源项目中也需要考虑社区的意见和建议。
根据错误信息来看,是因为 StreamPhysicalWindowAggregate
不支持 update
和 delete
的变更,而您的 SQL 查询中使用了 TABLE
函数,而这个函数产生的数据是包含update
和 delete
变更的,所以就会报错。解决方法是使用 DataStream
或者 TableSource
替换掉 TABLE
函数,以避免产生 update
和 delete
变更。具体做法可以参考 Flink 官方文档中的 Table API & SQL 或者 DataStream API 中的示例。
支持在窗口 TVF 中使用更新和删除更改这个问题是1.15版本的,现在看看升级之后有没有相关的优化,如果目前还是在1.15版本活动的,可能需要跟他们联系一下,问问有没有相应的解决办法
根据您提供的链接,这是一个Apache Flink的问题报告,即Flink SQL中使用ORC格式数据时的性能问题。您的问题是为什么这个问题一直没有得到解决,是否有什么难点。
首先,需要明确的是,Flink社区一直在积极地解决各种问题和改进Flink的性能和功能。然而,解决问题需要一定的时间和资源,并且有时需要进行深入的研究和设计。有些问题可能需要经过多个版本的迭代才能得到解决。
对于您提供的问题报告,它已经被标记为“开发中”,这意味着Flink社区正在积极研究和解决该问题。在Flink 1.15.0版本中,已经增加了对ORC格式的优化支持,可以提高ORC格式数据的读写性能和效率。但是,对于大型ORC文件和高并发场景下的性能问题,仍然需要进一步的研究和改进。
总的来说,Flink社区致力于解决各种问题和改进Flink的性能和功能。有些问题需要一定的时间和资源才能得到解决。如果您遇到了问题,可以在Flink的官方论坛或GitHub上提交一个问题报告,以获得更多的帮助和支持。
我不清楚具体的情况,但可以看出该 issue 是因为 Flink 中 GraphiteReporter 在连接到远程 Graphite 服务器时可能会发生连接超时或无法连接等问题。这可能是由于多种原因引起的,例如网络延迟、防火墙设置、Graphite 服务器故障等。解决这个问题可能需要深入分析和测试,并且需要协调开发人员以找到最佳解决方案。此外,如果这个问题只影响少数用户,那么它可能没有优先级,因为有更重要的问题需要解决。
通常情况下,一个 issue 没有被解决可能是因为它涉及到复杂的技术难点、需要时间精力投入较多、缺乏足够的资源来解决,或者开发团队正在优先处理其他的问题。如果您能够提供更多信息或者上下文,我可以尝试给出更加具体的答复。
如果有需要,可以在追问下,可以获得相关人的答复,也可以联系相关的群组
根据 Flink 官方 Github 上的讨论,《FLINK-27539》issue 现在已经被关闭了,原因是:
Users should now use the AsymmetricMemoryArchitecturesOption instead. 用户现在应该改用AsymmetricMemoryArchitecturesOption。
用户现在应该使用 AsymmetricMemoryArchitecturesOption 参数来解决对称性内存架构的问题,不再需要修复问题。
至于为什么在过去这个问题一直未被解决,可能存在多个原因,例如开发团队资源有限、该问题并不重要/常见,或者对该问题的解决需要做出更大的调整,等等原因。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。