Flink CDC产品常见问题之使用3.0测试mysql到starrocks启动报错如何解决

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。

问题一:Flink CDC能否实时监控HDFS上的文件变化?

Flink CDC能否实时监控HDFS上的文件变化?例如,能否快速捕获到HDFS某个文件中某条数据的变动?



参考答案:

这种flume可以采集吧。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/596402?spm=a2c6h.12873639.article-detail.102.50e24378TRW91E



问题二:Flink CDC里报这个错是doris内存不够?

Flink CDC里报这个错是doris内存不够?



参考答案:

是内存不够。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/596392?spm=a2c6h.12873639.article-detail.103.50e24378TRW91E



问题三:Flink CDC里MySQL CDC Pipeline 整库同步时 从指定的时间戳开始读取 吗?

Flink CDC里MySQL CDC Pipeline 整库同步时 从指定的时间戳开始读取 binlog 事件,然后 在指定的时间戳 结束任务 吗?目前看文档只能配置开始吗?能否指定结束时间呢 或者有其他方式实现么?



参考答案:

不建议用现在的pipeline,首先就是没法用组件调度,其次配的参数也不外暴露,你如过同步到doris,你可以直接用doris官方的flink连接器配合cdc一起使用。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/596389?spm=a2c6h.12873639.article-detail.104.50e24378TRW91E



问题四:Flink CDC里在生产跑 MySQL 向 Doris 同步数据,可以直接用 这个吗?

Flink CDC里在生产跑 MySQL 向 Doris 同步数据,可以直接用 QuickStart 里介绍的一样,通过 yaml 来编写 task 配置信息,cdc 脚本启动 flink job 就可以了么,区别只是生产要一个稳定的 flink 集群?

因为我看 flink-cdc 的release 包里,其实就是依赖 cdc 的包和 pipline 的包,pipline 的话是对 connector 进一步的封装。启动任务的 shell 脚本本质也是向 flink 集群提交了作业的吧?



参考答案:

其实就是2.x的更一步封装,把sink端都实现了,形成一个完整的flink job(pipeline)



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/596385?spm=a2c6h.12873639.article-detail.105.50e24378TRW91E



问题五:Flink CDC里使用3.0 测试mysql到starrocks启动报错怎么办?

Flink CDC里使用3.0 测试mysql到starrocks启动报错怎么办?

Caused by: org.apache.flink.util.FlinkRuntimeException: com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool$PoolInitializationException: Failed to initialize pool: Communications link failure

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.

at com.ververica.cdc.connectors.mysql.debezium.DebeziumUtils.openJdbcConnection(DebeziumUtils.java:71)

at com.ververica.cdc.connectors.mysql.MySqlValidator.createJdbcConnection(MySqlValidator.java:83)

at com.ververica.cdc.connectors.mysql.MySqlValidator.validate(MySqlValidator.java:68)

at com.ververica.cdc.connectors.mysql.source.MySqlSource.createEnumerator(MySqlSource.java:197)

at org.apache.flink.runtime.source.coordinator.SourceCoordinator.start(SourceCoordinator.java:221)

... 33 more

Caused by: com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool$PoolInitializationException: Failed to initialize pool: Communications link failure

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.

at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool.throwPoolInitializationException(HikariPool.java:596)

at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool.checkFailFast(HikariPool.java:582)

at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool.(HikariPool.java:115)

at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.HikariDataSource.(HikariDataSource.java:81)

at com.ververica.cdc.connectors.mysql.source.connection.PooledDataSourceFactory.createPooledDataSource(PooledDataSourceFactory.java:61)

at com.ververica.cdc.connectors.mysql.source.connection.JdbcConnectionPools.getOrCreateConnectionPool(JdbcConnectionPools.java:49)

at com.ververica.cdc.connectors.mysql.source.connection.JdbcConnectionFactory.connect(JdbcConnectionFactory.java:54)

at io.debezium.jdbc.JdbcConnection.connection(JdbcConnection.java:888)

at io.debezium.jdbc.JdbcConnection.connection(JdbcConnection.java:883)

at io.debezium.jdbc.JdbcConnection.connect(JdbcConnection.java:411)

at com.ververica.cdc.connectors.mysql.debezium.DebeziumUtils.openJdbcConnection(DebeziumUtils.java:68)

... 37 more

Caused by: com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.

at com.mysql.cj.jdbc.exceptions.SQLError.createCommunicationsException(SQLError.java:174)

at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:64)

at com.mysql.cj.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:829)

at com.mysql.cj.jdbc.ConnectionImpl.(ConnectionImpl.java:449)

at com.mysql.cj.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:242)

at com.mysql.cj.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:198)

at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.util.DriverDataSource.getConnection(DriverDataSource.java:138)

at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.PoolBase.newConnection(PoolBase.java:364)

at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.PoolBase.newPoolEntry(PoolBase.java:206)

at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool.createPoolEntry(HikariPool.java:476)

at com.ververica.cdc.connectors.shaded.com.zaxxer.hikari.pool.HikariPool.checkFailFast(HikariPool.java:561)

... 46 more

Caused by: com.mysql.cj.exceptions.CJCommunicationsException: Communications link failureCaused by: javax.net.ssl.SSLHandshakeException: Remote host terminated the handshake

Caused by: java.io.EOFException: SSL peer shut down incorrectly

后面还有两个报错



参考答案:

降低下connect.timeout 参数,默认是30s,估计数据库的更短,可以参考mysql的wait_timeout指标,低于这个就行。应该就是这个ssl的问题,你将源端的ssl关闭,或者增加连接参数。 The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.这个错误一般就是连接超时导致的0.0。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/596380?spm=a2c6h.12873639.article-detail.106.50e24378TRW91E

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
1月前
Mybatis+mysql动态分页查询数据案例——测试类HouseDaoMybatisImplTest)
Mybatis+mysql动态分页查询数据案例——测试类HouseDaoMybatisImplTest)
21 1
|
1月前
|
Java 关系型数据库 数据库连接
Mybatis+MySQL动态分页查询数据经典案例(含代码以及测试)
Mybatis+MySQL动态分页查询数据经典案例(含代码以及测试)
28 1
|
1月前
|
安全 关系型数据库 数据管理
DMS产品常见问题之香港地区RDS开启安全访问代理失败如何解决
DMS(数据管理服务,Data Management Service)是阿里云提供的一种数据库管理和维护工具,它支持数据的查询、编辑、分析及安全管控;本汇总集中了DMS产品在实际使用中用户常遇到的问题及其相应的解答,目的是为使用者提供快速参考,帮助他们有效地解决在数据管理过程中所面临的挑战。
|
1月前
|
DataWorks 安全 关系型数据库
DMS产品常见问题之香港RDS走代理失败如何解决
DMS(数据管理服务,Data Management Service)是阿里云提供的一种数据库管理和维护工具,它支持数据的查询、编辑、分析及安全管控;本汇总集中了DMS产品在实际使用中用户常遇到的问题及其相应的解答,目的是为使用者提供快速参考,帮助他们有效地解决在数据管理过程中所面临的挑战。
|
1月前
|
关系型数据库 MySQL API
Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
17天前
|
关系型数据库 MySQL
如何解决cmd命令窗口无法运行mysql命令的问题
如何解决cmd命令窗口无法运行mysql命令的问题
10 0
|
1月前
|
数据可视化 关系型数据库 MySQL
PolarDB常见问题之无法创建mysql的连接池如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
1月前
|
关系型数据库 MySQL API
Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决
Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决
|
1月前
|
SQL Apache 流计算
Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
【2月更文挑战第25天】Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
143 3
|
4天前
|
SQL 存储 关系型数据库
MySQL Cluster集群安装及使用
MySQL Cluster集群安装及使用

相关产品

  • 实时计算 Flink版