AI 助理
备案控制台
开发者社区 数据库 文章 正文

flink1.17提交cdc作业模式遇到的超时问题

2023-12-27 333
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
RDS MySQL Serverless 高可用系列，价值2615元额度，1个月
简介： 各位大佬请教个问题，我在83服务器上部署了一个Flink1.17 ，然后我有两个mysql数据库，分别部署在63服务器和81服务上了，我在往83提交cdc作业时（链接的是81服务器上的数据库），前面几个任务能正常提交，后面再提交报超时（jdbc模式可以正常提交），为了验证cdc连接数，我把后面的任务链接的数据库服务器改为了63，可以正常提交，有人遇到过吗
  • 各位大佬请教个问题，我在83服务器上部署了一个Flink1.17 ，然后我有两个mysql数据库，分别部署在63服务器和81服务上了，我在往83提交cdc作业时（链接的是81服务器上的数据库），前面几个任务能正常提交，后面再提交报超时（jdbc模式可以正常提交），为了验证cdc连接数，我把后面的任务链接的数据库服务器改为了63，可以正常提交，有人遇到过吗
    2023-12-27 10:58:33,813 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph [] - Job test (3f6489605981317c4125d5cc966aeecd) switched from state FAILING to FAILED.
    org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoffTimeStrategy(maxNumberRestartAttempts=3, backoffTimeMS=5000)
    at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(ExecutionFailureHandler.java:139) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.getGlobalFailureHandlingResult(ExecutionFailureHandler.java:102) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.runtime.scheduler.DefaultScheduler.handleGlobalFailure(DefaultScheduler.java:301) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.runtime.operators.coordination.OperatorCoordinatorHolder$LazyInitializedCoordinatorContext.lambda$failJob$0(OperatorCoordinatorHolder.java:618) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.lambda$handleRunAsync$4(AkkaRpcActor.java:453) ~[flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at org.apache.flink.runtime.concurrent.akka.ClassLoadingUtils.runWithContextClassLoader(ClassLoadingUtils.java:68) ~[flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRunAsync(AkkaRpcActor.java:453) ~[flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcMessage(AkkaRpcActor.java:218) ~[flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at org.apache.flink.runtime.rpc.akka.FencedAkkaRpcActor.handleRpcMessage(FencedAkkaRpcActor.java:84) ~[flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleMessage(AkkaRpcActor.java:168) ~[flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at akka.japi.pf.UnitCaseStatement.apply(CaseStatements.scala:24) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at akka.japi.pf.UnitCaseStatement.apply(CaseStatements.scala:20) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at scala.PartialFunction.applyOrElse(PartialFunction.scala:127) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at scala.PartialFunction.applyOrElse$(PartialFunction.scala:126) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at akka.japi.pf.UnitCaseStatement.applyOrElse(CaseStatements.scala:20) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:175) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:176) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:176) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at akka.actor.Actor.aroundReceive(Actor.scala:537) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at akka.actor.Actor.aroundReceive$(Actor.scala:535) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at akka.actor.AbstractActor.aroundReceive(AbstractActor.scala:220) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at akka.actor.ActorCell.receiveMessage(ActorCell.scala:579) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at akka.actor.ActorCell.invoke(ActorCell.scala:547) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:270) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at akka.dispatch.Mailbox.run(Mailbox.scala:231) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at akka.dispatch.Mailbox.exec(Mailbox.scala:243) [flink-rpc-akka_dfc51966-50ff-45ae-8101-fd9d47ccf617.jar:1.17.0]
    at java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:289) [?:1.8.0_392]
    at java.util.concurrent.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1056) [?:1.8.0_392]
    at java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1692) [?:1.8.0_392]
    at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:175) [?:1.8.0_392]
    Caused by: org.apache.flink.util.FlinkException: Global failure triggered by OperatorCoordinator for 'Source: source_osi_inspection_task[8]' (operator 605b35e407e90cda15ad084365733fdd).
    at org.apache.flink.runtime.operators.coordination.OperatorCoordinatorHolder$LazyInitializedCoordinatorContext.failJob(OperatorCoordinatorHolder.java:600) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.runtime.operators.coordination.RecreateOnResetOperatorCoordinator$QuiesceableContext.failJob(RecreateOnResetOperatorCoordinator.java:237) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.runtime.source.coordinator.SourceCoordinatorContext.failJob(SourceCoordinatorContext.java:374) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.runtime.source.coordinator.SourceCoordinator.lambda$runInEventLoop$10(SourceCoordinator.java:463) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.util.ThrowableCatchingRunnable.run(ThrowableCatchingRunnable.java:40) ~[flink-dist-1.17.0.jar:1.17.0]
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) ~[?:1.8.0_392]
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_392]
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) ~[?:1.8.0_392]
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) ~[?:1.8.0_392]
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[?:1.8.0_392]
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[?:1.8.0_392]
    at java.lang.Thread.run(Thread.java:750) ~[?:1.8.0_392]
    Caused by: org.apache.flink.util.FlinkRuntimeException: org.apache.flink.util.FlinkRuntimeException: java.sql.SQLTransientConnectionException: connection-pool-10.70.10.81:3306 - Connection is not available, request timed out after 30000ms.
    at com.ververica.cdc.connectors.mysql.debezium.DebeziumUtils.openJdbcConnection(DebeziumUtils.java:71) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlChunkSplitter.open(MySqlChunkSplitter.java:112) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlSnapshotSplitAssigner.open(MySqlSnapshotSplitAssigner.java:168) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlHybridSplitAssigner.open(MySqlHybridSplitAssigner.java:93) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.enumerator.MySqlSourceEnumerator.start(MySqlSourceEnumerator.java:87) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at org.apache.flink.runtime.source.coordinator.SourceCoordinator.lambda$start$1(SourceCoordinator.java:225) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.runtime.source.coordinator.SourceCoordinator.lambda$runInEventLoop$10(SourceCoordinator.java:449) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.util.ThrowableCatchingRunnable.run(ThrowableCatchingRunnable.java:40) ~[flink-dist-1.17.0.jar:1.17.0]
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) ~[?:1.8.0_392]
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_392]
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) ~[?:1.8.0_392]
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) ~[?:1.8.0_392]
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[?:1.8.0_392]
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[?:1.8.0_392]
    at java.lang.Thread.run(Thread.java:750) ~[?:1.8.0_392]
    Caused by: org.apache.flink.util.FlinkRuntimeException: java.sql.SQLTransientConnectionException: connection-pool-10.70.10.81:3306 - Connection is not available, request timed out after 30000ms.
    at com.ververica.cdc.connectors.mysql.source.connection.JdbcConnectionFactory.connect(JdbcConnectionFactory.java:72) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at io.debezium.jdbc.JdbcConnection.connection(JdbcConnection.java:888) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at io.debezium.jdbc.JdbcConnection.connection(JdbcConnection.java:883) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at io.debezium.jdbc.JdbcConnection.connect(JdbcConnection.java:411) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.debezium.DebeziumUtils.openJdbcConnection(DebeziumUtils.java:68) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlChunkSplitter.open(MySqlChunkSplitter.java:112) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlSnapshotSplitAssigner.open(MySqlSnapshotSplitAssigner.java:168) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlHybridSplitAssigner.open(MySqlHybridSplitAssigner.java:93) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.enumerator.MySqlSourceEnumerator.start(MySqlSourceEnumerator.java:87) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at org.apache.flink.runtime.source.coordinator.SourceCoordinator.lambda$start$1(SourceCoordinator.java:225) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.runtime.source.coordinator.SourceCoordinator.lambda$runInEventLoop$10(SourceCoordinator.java:449) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.util.ThrowableCatchingRunnable.run(ThrowableCatchingRunnable.java:40) ~[flink-dist-1.17.0.jar:1.17.0]
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) ~[?:1.8.0_392]
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_392]
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) ~[?:1.8.0_392]
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) ~[?:1.8.0_392]
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[?:1.8.0_392]
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[?:1.8.0_392]
    at java.lang.Thread.run(Thread.java:750) ~[?:1.8.0_392]
    Caused by: java.sql.SQLTransientConnectionException: connection-pool-10.70.10.81:3306 - Connection is not available, request timed out after 30000ms.
    at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool.createTimeoutException(HikariPool.java:696) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool.getConnection(HikariPool.java:197) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool.getConnection(HikariPool.java:162) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.HikariDataSource.getConnection(HikariDataSource.java:100) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.connection.JdbcConnectionFactory.connect(JdbcConnectionFactory.java:59) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at io.debezium.jdbc.JdbcConnection.connection(JdbcConnection.java:888) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at io.debezium.jdbc.JdbcConnection.connection(JdbcConnection.java:883) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at io.debezium.jdbc.JdbcConnection.connect(JdbcConnection.java:411) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.debezium.DebeziumUtils.openJdbcConnection(DebeziumUtils.java:68) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlChunkSplitter.open(MySqlChunkSplitter.java:112) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlSnapshotSplitAssigner.open(MySqlSnapshotSplitAssigner.java:168) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlHybridSplitAssigner.open(MySqlHybridSplitAssigner.java:93) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at com.ververica.cdc.connectors.mysql.source.enumerator.MySqlSourceEnumerator.start(MySqlSourceEnumerator.java:87) ~[flink-sql-connector-mysql-cdc-2.4.0.jar:2.4.0]
    at org.apache.flink.runtime.source.coordinator.SourceCoordinator.lambda$start$1(SourceCoordinator.java:225) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.runtime.source.coordinator.SourceCoordinator.lambda$runInEventLoop$10(SourceCoordinator.java:449) ~[flink-dist-1.17.0.jar:1.17.0]
    at org.apache.flink.util.ThrowableCatchingRunnable.run(ThrowableCatchingRunnable.java:40) ~[flink-dist-1.17.0.jar:1.17.0]
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) ~[?:1.8.0_392]
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_392]
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) ~[?:1.8.0_392]
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) ~[?:1.8.0_392]
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[?:1.8.0_392]
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[?:1.8.0_392]
    at java.lang.Thread.run(Thread.java:750) ~[?:1.8.0_392]
    2023-12-27 10:58:33,815 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator [] - Stopping checkpoint coordinator for job 3f6489605981317c4125d5cc966aeecd.
    2023-12-27 10:58:33,822 INFO org.apache.flink.runtime.dispatcher.StandaloneDispatcher [] - Job 3f6489605981317c4125d5cc966aeecd reached terminal state FAILED.
    org.apache.flink.util.FlinkException: Global failure triggered by OperatorCoordinator for 'Source: source_osi_inspection_project[3]' (operator feca28aff5a3958840bee985ee7de4d3).
    at org.apache.flink.runtime.operators.coordination.OperatorCoordinatorHolder$LazyInitializedCoordinatorContext.failJob(OperatorCoordinatorHolder.java:600)
    at org.apache.flink.runtime.operators.coordination.RecreateOnResetOperatorCoordinator$QuiesceableContext.failJob(RecreateOnResetOperatorCoordinator.java:237)
    at org.apache.flink.runtime.source.coordinator.SourceCoordinatorContext.failJob(SourceCoordinatorContext.java:374)
    at org.apache.flink.runtime.source.coordinator.SourceCoordinator.lambda$runInEventLoop$10(SourceCoordinator.java:463)
    at org.apache.flink.util.ThrowableCatchingRunnable.run(ThrowableCatchingRunnable.java:40)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:750)
    Caused by: org.apache.flink.util.FlinkRuntimeException: Failed to discovery tables to capture
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlSnapshotSplitAssigner.discoveryCaptureTables(MySqlSnapshotSplitAssigner.java:184)
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlSnapshotSplitAssigner.open(MySqlSnapshotSplitAssigner.java:169)
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlHybridSplitAssigner.open(MySqlHybridSplitAssigner.java:93)
    at com.ververica.cdc.connectors.mysql.source.enumerator.MySqlSourceEnumerator.start(MySqlSourceEnumerator.java:87)
    at org.apache.flink.runtime.source.coordinator.SourceCoordinator.lambda$start$1(SourceCoordinator.java:225)
    at org.apache.flink.runtime.source.coordinator.SourceCoordinator.lambda$runInEventLoop$10(SourceCoordinator.java:449)
    ... 8 more
    Caused by: org.apache.flink.util.FlinkRuntimeException: org.apache.flink.util.FlinkRuntimeException: java.sql.SQLTransientConnectionException: connection-pool-10.70.10.81:3306 - Connection is not available, request timed out after 30000ms.
    at com.ververica.cdc.connectors.mysql.debezium.DebeziumUtils.openJdbcConnection(DebeziumUtils.java:71)
    at com.ververica.cdc.connectors.mysql.source.assigners.MySqlSnapshotSplitAssigner.discoveryCaptureTables(MySqlSnapshotSplitAssigner.java:179)
    ... 13 more
    Caused by: org.apache.flink.util.FlinkRuntimeException: java.sql.SQLTransientConnectionException: connection-pool-10.70.10.81:3306 - Connection is not available, request timed out after 30000ms.
    at com.ververica.cdc.connectors.mysql.source.connection.JdbcConnectionFactory.connect(JdbcConnectionFactory.java:72)
    at io.debezium.jdbc.JdbcConnection.connection(JdbcConnection.java:888)
    at io.debezium.jdbc.JdbcConnection.connection(JdbcConnection.java:883)
    at io.debezium.jdbc.JdbcConnection.connect(JdbcConnection.java:411)
    at com.ververica.cdc.connectors.mysql.debezium.DebeziumUtils.openJdbcConnection(DebeziumUtils.java:68)
    ... 14 more
    Caused by: java.sql.SQLTransientConnectionException: connection-pool-10.70.10.81:3306 - Connection is not available, request timed out after 30000ms.
    at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool.createTimeoutException(HikariPool.java:696)
    at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool.getConnection(HikariPool.java:197)
    at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool.getConnection(HikariPool.java:162)
    at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.HikariDataSource.getConnection(HikariDataSource.java:100)
    at com.ververica.cdc.connectors.mysql.source.connection.JdbcConnectionFactory.connect(JdbcConnectionFactory.java:59)
    ... 18 more
文章标签：
实时计算 Flink版
云数据库 RDS MySQL 版
数据库
Java
关系型数据库
MySQL
数据库连接
关键词：
实时计算 Flink版CDC
实时计算 Flink版cdc模式
实时计算 Flink版模式
实时计算 Flink版作业
实时计算 Flink版超时
相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程，适合初学者阅读。由浅入深案例丰富，通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员，只要能够坚持把所有章节都学完，也一定会受益匪浅。
游客f3wsbz3d3mvme
目录
相关文章
灵杰开发者
|
1月前
|
SQL API Apache
Dinky 和 Flink CDC 在实时整库同步的探索之路
本次分享围绕 Dinky 的整库同步技术演进，从传统数据集成方案的痛点出发，探讨了 Flink CDC Yaml 作业的探索历程。内容分为三个部分：起源、探索、未来。在起源部分，分析了传统数据集成方案中全量与增量割裂、时效性低等问题，引出 Flink CDC 的优势；探索部分详细对比了 Dinky CDC Source 和 Flink CDC Pipeline 的架构与能力，深入讲解了 YAML 作业的细节，如模式演变、数据转换等；未来部分则展望了 Dinky 对 Flink CDC 的支持与优化方向，包括 Pipeline 转换功能、Transform 扩展及实时湖仓治理等。
灵杰开发者
374 12
Dinky 和 Flink CDC 在实时整库同步的探索之路
游客kufrkwrbkmpsa
|
2月前
|
Oracle 关系型数据库 Java
【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山
本文介绍通过Flink CDC实现Oracle数据实时同步至崖山数据库（YashanDB）的方法，支持全量与增量同步，并涵盖新增、修改和删除的DML操作。内容包括环境准备（如JDK、Flink版本等）、Oracle日志归档启用、用户权限配置、增量日志记录设置、元数据迁移、Flink安装与配置、生成Flink SQL文件、Streampark部署，以及创建和启动实时同步任务的具体步骤。适合需要跨数据库实时同步方案的技术人员参考。
游客kufrkwrbkmpsa
82 1
【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山
百岁001
|
2月前
|
关系型数据库 MySQL 数据库
基于Flink CDC 开发，支持Web-UI的实时KingBase 连接器，三大模式无缝切换，效率翻倍！
TIS 是一款基于Web-UI的开源大数据集成工具，通过与人大金仓Kingbase的深度整合，提供高效、灵活的实时数据集成方案。它支持增量数据监听和实时写入，兼容MySQL、PostgreSQL和Oracle模式，无需编写复杂脚本，操作简单直观，特别适合非专业开发人员使用。TIS率先实现了Kingbase CDC连接器的整合，成为业界首个开箱即用的Kingbase CDC数据同步解决方案，助力企业数字化转型。
百岁001
301 5
基于Flink CDC 开发，支持Web-UI的实时KingBase 连接器，三大模式无缝切换，效率翻倍！
灵杰开发者
|
2月前
|
存储 SQL Java
Flink CDC + Hologres高性能数据同步优化实践
本文整理自阿里云高级技术专家胡一博老师在Flink Forward Asia 2024数据集成（二）专场的分享，主要内容包括：1. Hologres介绍：实时数据仓库，支持毫秒级写入和高QPS查询；2. 写入优化：通过改进缓冲队列、连接池和COPY模式提高吞吐量和降低延迟；3. 消费优化：优化离线场景和分区表的消费逻辑，提升性能和资源利用率；4. 未来展望：进一步简化用户操作，支持更多DDL操作及全增量消费。Hologres 3.0全新升级为一体化实时湖仓平台，提供多项新功能并降低使用成本。
灵杰开发者
320 1
Flink CDC + Hologres高性能数据同步优化实践
aliyun5346531989-29970
|
8月前
|
运维 数据处理 数据安全/隐私保护
阿里云实时计算Flink版测评报告
该测评报告详细介绍了阿里云实时计算Flink版在用户行为分析与标签画像中的应用实践，展示了其毫秒级的数据处理能力和高效的开发流程。报告还全面评测了该服务在稳定性、性能、开发运维及安全性方面的卓越表现，并对比自建Flink集群的优势。最后，报告评估了其成本效益，强调了其灵活扩展性和高投资回报率，适合各类实时数据处理需求。
aliyun5346531989-29970
201 12
灵杰开发者
|
6月前
|
存储 分布式计算 流计算
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括：Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎，通过向量化技术和 C++ 实现，大幅提升了性能和成本效益。
灵杰开发者
2457 73
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
zdl
|
6月前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评：实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比，涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务，显著降低了运维成本，提供了强大的集成能力和弹性扩展，特别适合中小型团队和业务波动大的场景。文中还提出了改进建议，并探讨了与其他产品的联动可能性。总结指出，实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色，是大数据实时计算的优选方案。
zdl
278 56
灵杰开发者
|
4月前
|
消息中间件 关系型数据库 MySQL
Flink CDC 在阿里云实时计算Flink版的云上实践
本文整理自阿里云高级开发工程师阮航在Flink Forward Asia 2024的分享，重点介绍了Flink CDC与实时计算Flink的集成、CDC YAML的核心功能及应用场景。主要内容包括：Flink CDC的发展及其在流批数据处理中的作用；CDC YAML支持的同步链路、Transform和Route功能、丰富的监控指标；典型应用场景如整库同步、Binlog原始数据同步、分库分表同步等；并通过两个Demo展示了MySQL整库同步到Paimon和Binlog同步到Kafka的过程。最后，介绍了未来规划，如脏数据处理、数据限流及扩展数据源支持。
灵杰开发者
324 0
Flink CDC 在阿里云实时计算Flink版的云上实践
技术内容小助手
|
5月前
|
存储 关系型数据库 BI
实时计算UniFlow：Flink+Paimon构建流批一体实时湖仓
实时计算架构中，传统湖仓架构在数据流量管控和应用场景支持上表现良好，但在实际运营中常忽略细节，导致新问题。为解决这些问题，提出了流批一体的实时计算湖仓架构——UniFlow。该架构通过统一的流批计算引擎、存储格式（如Paimon）和Flink CDC工具，简化开发流程，降低成本，并确保数据一致性和实时性。UniFlow还引入了Flink Materialized Table，实现了声明式ETL，优化了调度和执行模式，使用户能灵活调整新鲜度与成本。最终，UniFlow不仅提高了开发和运维效率，还提供了更实时的数据支持，满足业务决策需求。
技术内容小助手
295 7
三分钟热度的鱼
|
9月前
|
SQL 消息中间件 Kafka
实时计算 Flink版产品使用问题之如何在EMR-Flink的Flink SOL中针对source表单独设置并行度
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
160 0

热门文章

最新文章

  • 1
    基于 Flink 的中国电信星海时空数据多引擎实时改造
  • 2
    京东物流基于Flink & StarRocks的湖仓建设实践
  • 3
    直播预告｜Kafka+Flink双引擎实战：手把手带你搭建分布式实时分析平台！
  • 4
    网易游戏 Flink 云原生实践
  • 5
    Flink入坑指南 第四章：SQL中的经典操作Group By+Agg
  • 6
    Flink on YARN（上）：一张图轻松掌握基础架构与启动流程
  • 7
    Apache Flink 漫谈系列(10) - JOIN LATERAL
  • 8
    Flink的sink实战之二：kafka
  • 9
    Flink JDBC Connector：Flink 与数据库集成最佳实践
  • 10
    Flink 引擎在快手的深度优化与生产实践
  • 1
    14个Flink SQL性能优化实践分享
    235
  • 2
    MaxCompute产品使用合集之用flink mysql的数据同步到mc的Transaction Table2.0，时间会比mysql的时间多8小时，是什么导致的
    105
  • 3
    玳数科技集成 Flink CDC 3.0 的实践
    754
  • 4
    DataWorks产品使用合集之是否可以和Flink 实时计算结合使用
    117
  • 5
    实时计算 Flink版操作报错合集之怎么向一个未定义列的表中写入数据
    214
  • 6
    实时计算 Flink版操作报错合集之从mysql读数据写到hive报错，是什么原因
    277
  • 7
    实时计算 Flink版操作报错合集之运行mysql to doris pipeline时报错，该如何排查
    186
  • 8
    实时计算 Flink版操作报错合集之cdc postgres数据库，当表行记录修改后报错，该如何修改
    216
  • 9
    实时计算 Flink版操作报错合集之整库同步mysql到starRock提交任务异常，该如何处理
    332
  • 10
    实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时，无法在所有指定的数据节点上进行复制，该如何解决
    560

    • 相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 实时计算 Flink 版产品入门与实操
  • 开源 Flink 极速上手教程
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Flink CDC Meetup PPT - 龚中强
  • Flink CDC Meetup PPT - 王赫
  • Flink CDC Meetup PPT - 覃立辉

    • 相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Flink+Tair搭建实时监控大屏
  • 5分钟上手Flink MySQL连接器
  • 使用Flink实时发现最热Github项目
    • 下一篇
    阿里云OSS设置跨域访问