开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc的数据库连接数大小是由什么决定的?作业停止后连接不释放的原因是什么?

flink cdc的数据库连接数大小是由什么决定的?作业停止后连接不释放的原因是什么?mysql cdc connector,2.3.0,datastream作业

展开
收起
cuicuicuic 2023-07-02 17:18:33 78 0
3 条回答
写回答
取消 提交回答
  • Flink CDC 的数据库连接数大小取决于以下几个因素:

    1. 数据源类型:不同类型的数据源对连接数的需求不同。例如,MySQL 数据源通常需要较多的连接数,而 PostgreSQL 数据源则相对较少。

    2. 并发度:Flink CDC 支持多个任务并发运行,每个任务都需要一定数量的数据库连接。并发度越高,所需的连接数也会相应增加。

    3. 数据库负载:数据库负载情况也会影响连接数的大小。当数据库负载较高时,可能需要更多的连接来处理请求。

    在 Flink CDC 中,数据库连接由 Flink 的 ConnectionProvider 管理。ConnectionProvider 负责创建和管理数据库连接。您可以通过配置 ConnectionProvider 的参数来控制连接数的大小。具体的配置方式可以参考 Flink CDC 的官方文档。

    至于作业停止后连接没有释放的原因,这可能是因为连接池没有正确关闭。在 Flink CDC 中,连接池由 ConnectionProvider 负责管理。当作业停止时,ConnectionProvider 应该正确地关闭连接池以释放连接资源。如果连接池没有正确关闭,就可能出现连接没有释放的情况。您可以检查 ConnectionProvider 的配置和代码,确保连接池能够在作业停止时正确关闭。

    如果您遇到作业停止后连接不释放的问题,可以根据具体情况提供更多细节,并向 Flink CDC 社区提交一个 issue 来寻求帮助。在提交 issue 时,建议按照社区提供的 bug 模板提供详细信息,以便社区更好地理解和解决问题。

    2023-07-30 11:02:35
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    Flink CDC 的数据库连接数大小取决于多个因素,包括:
    数据源类型:不同类型的数据源对连接数的要求不同。例如,MySQL 数据源通常对连接数的要求比较高,而 PostgreSQL 数据源则对连接数的要求相对较低。
    并发度:Flink CDC 支持多个任务并发运行,每个任务都需要一定数量的数据库连接。并发度越高,需要的连接数也会相应增加。
    数据库负载:数据库的负载情况也会影响连接数的大小。当数据库负载较高时,需要更多的连接来处理请求。
    在 Flink CDC 中,数据库连接是由 Flink 的 ConnectionProvider 管理的。ConnectionProvider 负责创建和管理数据库连接。在 Flink CDC 中,可以通过配置 ConnectionProvider 的参数来控制连接数的大小。具体配置方式可以参考 Flink CDC 的官方文档。
    另外,在 Flink CDC 中,如果作业停止后连接没有释放,可能是由于连接池没有正确地关闭。在 Flink CDC 中,连接池由 ConnectionProvider 负责管理。当作业停止时,ConnectionProvider 应该正确地关闭连接池,以释放连接资源。如果连接池没有正确地关闭,可能会导致连接没有释放的情况发生。您可以检查 ConnectionProvider 的配置和代码,以确保连接池能

    2023-07-30 10:05:38
    赞同 展开评论 打赏
  • 这个问题有点笼统,需要具体点(什么连接器?什么版本?怎么使用的(datstream作业还是sql作业)?),不过只要确认作业停止后不释放链接可以去社区按照bug模板开issue这个问题有点笼统,需要具体点(什么连接器?什么版本?怎么使用的(datstream作业还是sql作业)?),不过只要确认作业停止后不释放链接可以去社区按照bug模板开issue,此回答整理自钉群“Flink CDC 社区”

    2023-07-02 17:23:32
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载