开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请教个问题,我在83服务器上部署了一个Flink1.17 ,有人遇到过吗?

请教个问题,我在83服务器上部署了一个Flink1.17 ,然后我又两个mysql数据库,分别部署在63服务器和81服务上了,我在往83提交cdc作业时(链接的是81服务器上的数据库),前面几个任务能正常提交,后面再提交报超时,为了验证cdc连接数,我把后面的任务链接的服务器改为了63,可以正常提交,有人遇到过吗?cf4d7a98a01aff546f23efcad02ac948.png
12259f11fa063aa196eede33125f6290.png

展开
收起
真的很搞笑 2024-01-04 12:16:11 47 0
2 条回答
写回答
取消 提交回答
  • 这个问题可能是由于Flink的CDC作业在83服务器上连接MySQL数据库时,遇到了性能瓶颈或者资源限制。你可以尝试以下方法来解决这个问题:

    1. 检查83服务器上的网络状况,确保与63服务器和81服务器之间的网络延迟较低。

    2. 调整Flink的CDC作业的配置参数,例如增加并行度、减少批处理大小等,以提高作业的处理能力。

    3. 考虑使用更高性能的硬件资源(如CPU、内存等)来部署Flink集群,以提高作业的处理速度。

    4. 如果可能的话,可以考虑将83服务器上的MySQL数据库迁移到其他性能更好的服务器上,以减轻Flink作业的压力。

    5. 检查MySQL数据库的日志,看是否有任何错误或警告信息,这可能会帮助你找到问题的根源。

    2024-01-05 16:15:59
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据您提供的信息,可能是由于81服务器上的数据库连接数达到了上限,导致后续任务无法正常提交。您可以尝试以下方法解决这个问题:

    1. 检查81服务器上的数据库连接数限制。您可以登录到MySQL数据库,执行以下命令查看当前连接数和最大连接数:

      show status like 'Threads_connected';
      show variables like 'max_connections';
      

      如果发现连接数接近或达到最大连接数,您可以考虑增加最大连接数。在MySQL配置文件(通常是my.cnf或my.ini)中,找到[mysqld]部分,修改或添加以下行:

      max_connections = 新的连接数;
      

      然后重启MySQL服务使更改生效。

    2. 如果问题仍然存在,您可以尝试优化Flink作业的资源分配。确保每个任务都有足够的资源来处理数据,避免因为资源不足导致任务超时。您可以调整Flink作业的并行度、内存等参数,以提高作业的性能。

    3. 如果以上方法都无法解决问题,您可以考虑将CDC作业拆分成多个子任务,分别连接到不同的数据库服务器上。这样可以避免单个数据库服务器的连接数达到上限,提高作业的稳定性。

    2024-01-04 16:49:22
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载