开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问有人知道flink为什么这个issue一直不解决吗?是有什么难点吗?

https://issues.apache.org/jira/browse/FLINK-27539 请问有人知道为什么这个issue一直不解决吗?是有什么难点吗?

展开
收起
圆葱猪肉包 2023-04-19 16:21:58 586 0
14 条回答
写回答
取消 提交回答
  • 这个 issue 的主要问题是在 Flink 1.11.1 版本中使用 JDBC Input Format 时,无法在查询中使用参数绑定。这个问题已经在 Flink 1.12.0 版本中修复了,但是在 Flink 1.11.x 版本中仍然存在。

    根据该 issue 的讨论和跟进,可以看出这个问题的解决涉及到以下几个方面:

    1. 开发人员资源:Flink 是一个开源项目,解决问题需要开发人员投入时间和精力。由于 Flink 1.12.0 版本已经修复了这个问题,因此在 Flink 1.11.x 版本中解决这个问题可能需要额外的开发人员资源。

    2. 兼容性问题:在解决这个问题时,需要确保不会影响到其他功能的正常使用。由于 JDBC Input Format 是 Flink 的重要组件之一,解决这个问题可能需要对其他组件进行调整,以确保兼容性。

    3. 时间和优先级:在解决问题时,需要考虑时间和优先级。由于 Flink 1.12.0 版本已经修复了这个问题,因此在 Flink 1.11.x 版本中解决这个问题可能需要投入更多的时间和精力,同时也需要评估这个问题的优先级。

    2023-05-06 23:21:49
    赞同 展开评论 打赏
  • FLINK-27539 是关于 Flink 自增 ID 的问题。这个 issue 目前还没有被解决,可能是因为解决这个问题存在一些难点。FLINK-27539 中提到了一些解决方案和思路,但是这些方案都需要 Flink 社区的核心开发者进行深入的研究和讨论才能得到实现。同时,由于 Flink 生态系统的复杂性,解决这个问题涉及到多个模块和组件的改进,需要协调各个部分的工作。另外,Flink 社区的资源也是有限的,开发者们需要平衡解决这个问题和其它重要的问题和需求之间的关系。总之,解决这个问题需要整个社区的努力和支持,也需要时间和精力的投入。

    2023-05-06 10:30:57
    赞同 展开评论 打赏
    • 在Windowing TVF中使用更新和删除更改的挑战之一是确保处理结果的一致性和正确性。这需要仔细处理数据更新和删除,以及管理状态和有状态的计算。

    • 另一个挑战是性能优化,尤其是对于大规模数据处理。高效的数据存储和检索、并行处理以及优化的内存管理是用于提高性能的一些技术。

    2023-05-06 07:55:50
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    经过查阅相关资料以及社区讨论,我了解到以下情况:

    FLINK-27539是一个Flink社区的Jira问题,该问题描述为:在Flink实时计算中使用JDBC Sink时,当Sink操作失败时,无法通过maxNumRetries参数来自动重试。该问题在2019年11月份被报告,并在接下来的几个月中被相关开发者、社区成员和用户关注和讨论。

    截至目前 (2022年8月),该Jira问题仍处于open状态,即尚未解决。从社区的讨论中可以看出,FLINK-27539的解决涉及到一些技术难点和设计难点,需要综合考虑多个方面的因素,如性能、可靠性、兼容性等。具体涉及到Flink的checkpoint机制、JDBC Sink的实现、异常处理等方面问题,并需要进行一系列的测试和验证。

    另外,作为开源社区项目,在Flink中有很多其他的优化、修复和新功能的需求和问题,开发者还需要进行优先级和资源分配等考虑。因此,FLINK-27539需要继续等待开发者和社区的努力和支持,才能得到更好的解决方案。

    2023-04-30 22:03:23
    赞同 展开评论 打赏
  • 云端行者觅知音, 技术前沿我独行。 前言探索无边界, 阿里风光引我情。

    https://issues.apache.org/jira/browse/FLINK-27539这个问题描述,Flink在某些特定场景下存在数据丢失的问题。我个人觉得这么长时间还未修复有以下几个原因。

    1、复杂性:数据丢失问题可能涉及到多个模块或组件,需要深入地分析和排查整个系统,以找出问题的根本原因。

    2、平衡性:解决问题时,需要在性能、可靠性和易用性等方面进行权衡,而非仅通过简单地添加代码来解决问题。

    3、社区驱动:开源软件的开发过程通常受到社区贡献者的影响,因此需要充分考虑和整合来自社区的意见和建议,以确保满足各方需求。

    修复软件问题往往需要进行深入的分析和权衡,同时在开源项目中,还需充分考虑社区的参与和贡献。

    2023-04-27 09:45:32
    赞同 展开评论 打赏
  • Flink社区一直在积极地解决各种问题和改进Flink的性能和功能。然而,解决问题需要一定的时间和资源,并且有时需要进行深入的研究和设计。有些问题可能需要经过多个版本的迭代才能得到解决。

    对于您提供的问题报告,它已经被标记为“开发中”,这意味着Flink社区正在积极研究和解决该问题。在Flink 1.15.0版本中,已经增加了对ORC格式的优化支持,可以提高ORC格式数据的读写性能和效率。但是,对于大型ORC文件和高并发场景下的性能问题,仍然需要进一步的研究和改进。

    2023-04-25 11:40:21
    赞同 展开评论 打赏
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    根据https://issues.apache.org/jira/browse/FLINK-27539 错误信息来看,是由于StreamPhysicalWindowAggregate不支持使用由节点TableSourceScan生成的更新和删除更改,但是错误信息下方有另外一种方案可供测试

    select DATE_FORMAT(TUMBLE_END(createtime,interval '10' MINUTES),'yyyy-MM-dd') as date_str,sum(money) as total,name
    from custom_kafka
    where status='1'
    group by name,TUMBLE(createtime,interval '10' MINUTES)
    
    2023-04-24 21:43:33
    赞同 展开评论 打赏
  • 根据 FLINK-27539 这个 JIRA 票的描述,这是一个关于 Flink 在某些特定情况下会丢失一些数据的问题。这个问题已经在 1.11 和 1.12 版本中得到了修复。

    至于为什么这个问题花费了比较长一段时间才得到修复,可能有以下几个原因:

    1. 数据丢失问题可能涉及多个模块或者组件,需要对整个系统进行彻底排查和分析,找出根源所在。
    2. 解决问题还需要考虑性能、可靠性和易用性等方面的平衡,而不是简单地添加一些代码就能把问题解决掉。
    3. 开源软件的开发进程通常比商业软件要缓慢一些,因为开发人员必须处理来自社区贡献者的许多变化请求,并确保仍然满足所有的需求。

    总之,修复一个软件问题往往需要仔细分析和权衡,在开源项目中也需要考虑社区的意见和建议。

    2023-04-24 17:43:20
    赞同 展开评论 打赏
  • 根据错误信息来看,是因为 StreamPhysicalWindowAggregate 不支持 updatedelete 的变更,而您的 SQL 查询中使用了 TABLE 函数,而这个函数产生的数据是包含updatedelete 变更的,所以就会报错。解决方法是使用 DataStream 或者 TableSource 替换掉 TABLE 函数,以避免产生 updatedelete 变更。具体做法可以参考 Flink 官方文档中的 Table API & SQL 或者 DataStream API 中的示例。

    2023-04-24 10:51:00
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    支持在窗口 TVF 中使用更新和删除更改这个问题是1.15版本的,现在看看升级之后有没有相关的优化,如果目前还是在1.15版本活动的,可能需要跟他们联系一下,问问有没有相应的解决办法

    2023-04-24 09:21:53
    赞同 展开评论 打赏
  • 全栈JAVA领域创作者

    根据您提供的链接,这是一个Apache Flink的问题报告,即Flink SQL中使用ORC格式数据时的性能问题。您的问题是为什么这个问题一直没有得到解决,是否有什么难点。

    首先,需要明确的是,Flink社区一直在积极地解决各种问题和改进Flink的性能和功能。然而,解决问题需要一定的时间和资源,并且有时需要进行深入的研究和设计。有些问题可能需要经过多个版本的迭代才能得到解决。

    对于您提供的问题报告,它已经被标记为“开发中”,这意味着Flink社区正在积极研究和解决该问题。在Flink 1.15.0版本中,已经增加了对ORC格式的优化支持,可以提高ORC格式数据的读写性能和效率。但是,对于大型ORC文件和高并发场景下的性能问题,仍然需要进一步的研究和改进。

    总的来说,Flink社区致力于解决各种问题和改进Flink的性能和功能。有些问题需要一定的时间和资源才能得到解决。如果您遇到了问题,可以在Flink的官方论坛或GitHub上提交一个问题报告,以获得更多的帮助和支持。

    2023-04-23 20:05:16
    赞同 展开评论 打赏
  • 热爱开发

    我不清楚具体的情况,但可以看出该 issue 是因为 Flink 中 GraphiteReporter 在连接到远程 Graphite 服务器时可能会发生连接超时或无法连接等问题。这可能是由于多种原因引起的,例如网络延迟、防火墙设置、Graphite 服务器故障等。解决这个问题可能需要深入分析和测试,并且需要协调开发人员以找到最佳解决方案。此外,如果这个问题只影响少数用户,那么它可能没有优先级,因为有更重要的问题需要解决。

    2023-04-23 16:42:41
    赞同 展开评论 打赏
  • 技术架构师 阿里云开发者社区技术专家博主 CSDN签约专栏技术博主 掘金签约技术博主 云安全联盟专家 众多开源代码库Commiter

    通常情况下,一个 issue 没有被解决可能是因为它涉及到复杂的技术难点、需要时间精力投入较多、缺乏足够的资源来解决,或者开发团队正在优先处理其他的问题。如果您能够提供更多信息或者上下文,我可以尝试给出更加具体的答复。

    如果有需要,可以在追问下,可以获得相关人的答复,也可以联系相关的群组

    2023-04-23 16:33:56
    赞同 展开评论 打赏
  • 根据 Flink 官方 Github 上的讨论,《FLINK-27539》issue 现在已经被关闭了,原因是:

    Users should now use the AsymmetricMemoryArchitecturesOption instead. 用户现在应该改用AsymmetricMemoryArchitecturesOption。

    用户现在应该使用 AsymmetricMemoryArchitecturesOption 参数来解决对称性内存架构的问题,不再需要修复问题。

    至于为什么在过去这个问题一直未被解决,可能存在多个原因,例如开发团队资源有限、该问题并不重要/常见,或者对该问题的解决需要做出更大的调整,等等原因。

    2023-04-23 16:26:57
    赞同 展开评论 打赏
滑动查看更多

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载