Flink cdc报错问题之升级2.3.0报错如何解决

问题一：flinkcdc2.3.0对接postgre这个报错大家有遇到过么？

flinkcdc2.3.0对接postgre这个报错大家有遇到过么？2023-04-10 06:06:38,129 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph [] - Source: TableSourceScan(table=[[default_catalog, default_database, products]], fields=[cum_id, secret_id, response_code, ecid, product_code, product_name, partner_secret_id, secret_id_type, product_ord_id, product_code_type, eboss_product_code, partner_product_code, request_refid, response_refid, response_msg, response, timeresp, id, request_time, response_time, name, mobile, cert_no, result, response_key, response_value, customer_req_time, customer_resp_time, partner_id]) -> DropUpdateBefore -> Calc(select=[cum_id, secret_id, response_code, ecid, product_code, product_name, partner_secret_id, secret_id_type, product_ord_id, product_code_type, eboss_product_code, partner_product_code, request_refid, response_refid, response_msg, response, timeresp, id, request_time, CAST(DATE_FORMAT(request_time, _UTF-16LE'yyyyMMddHH')) AS request_hour_time, CAST(DATE_FORMAT(request_time, _UTF-16LE'yyyyMMdd')) AS request_day_time, CAST(DATE_FORMAT(request_time, _UTF-16LE'yyyyMM')) AS request_month_time, CAST(DATE_FORMAT(request_time, _UTF-16LE'yyyy')) AS request_year_time, response_time, name, mobile, cert_no, result, response_key, response_value, customer_req_time, customer_resp_time, partner_id]) (1/1) (c4290cd3a02426892bab790950da1a3b) switched from RUNNING to FAILED on container_1671783510478_0035_01_000002 @ hyy-cdh-002 (dataPort=45806). com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped. at io.debezium.pipeline.ErrorHandler.setProducerThrowable(ErrorHandler.java:42) ~[flink-sql-connector-mysql-cdc-2.3.0.jar:2.3.0] at io.debezium.connector.postgresql.PostgresStreamingChangeEventSource.execute(PostgresStreamingChangeEventSource.java:168) ~[flink-sql-connector-postgres-cdc-2.3.0.jar:2.3.0] at io.debezium.connector.postgresql.PostgresStreamingChangeEventSource.execute(PostgresStreamingChangeEventSource.java:40)

参考答案：

这个报错是指在使用Flink SQL Connector for MySQL CDC 2.3.0对接PostgreSQL数据库时发生的异常。具体来说，可能是由于在处理变更事件生产者时发生了异常导致的。

可能的解决方案包括：

检查PostgreSQL数据库的配置是否正确，确保连接准确无误。

检查程序中是否存在错误的引用或语法错误，例如表名或列名的拼写错误或语法错误。

升级或降级Flint SQL Connector版本，尝试使用其他版本的Connector连接PostgreSQL数据库，或使用其他连接器。

检查是否有重复的记录或无效的数据，这可能导致无法处理数据，从而引发异常。确保清除所有无效数据或重复记录。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/500158?spm=a2c6h.13066369.question.11.4d426d0czjAhKm

问题二：Flink CDC换成2.3.0的时候报错，为什么？

Flink CDC换成2.3.0的时候报错，然后把flink-shaded-guava exclude后换成18.0-13.0的还是报错，为什么？

参考答案：

flink要升一下，或者排包

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/490582?spm=a2c6h.13066369.question.12.4d426d0c4niZw9

问题三：使用flinksql mongodb-cdc执行报错怎么办？

使用flinksql mongodb-cdc执行报错unable to create a source for reading table，这个怎么办？

参考答案：

这个错误可能是由于以下原因导致的：

1. 数据库或集合名称错误：确保你在SQL查询中使用的数据库和集合名称与实际情况相匹配。
   
2. 连接字符串错误：确保你在配置CDC连接器时正确指定了MongoDB连接字符串，并且已经在Flink SQL中进行了正确的配置。
   
3. 缺少MongoDB驱动程序：如果你没有在Flink的lib目录下放置MongoDB驱动程序，可能会遇到此错误。请确保你已经添加了MongoDB驱动程序，以便FlinkSQL能够与MongoDB数据库建立连接。
   
4. CDC版本不兼容：如果你使用的Flink版本和MongoDB CDC版本不兼容，也可能会出现此错误。请尝试使用兼容的版本进行测试。
   

你可以通过查看具体的错误日志，排除以上可能的原因，并采取相应的措施解决问题。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/494471?spm=a2c6h.13066369.question.13.4d426d0cugVNVM

问题四：Flink CDC实时采集 48小时没有数据来就报错 ， 你们有遇到过吗？

Flink CDC实时采集 48小时没有数据来就报错 ， 你们有遇到过吗？

参考答案：

查看日志信息提示

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/490516?spm=a2c6h.13066369.question.14.4d426d0ceZuZdz

问题五：我flink cdc实时同步db2数据，没有任何报错信息，也没有数据，该如何下手？

大佬们我flink cdc实时同步db2数据，没有任何报错信息，但是也没有数据，我对db2做增删改的操作，都没有任何变化，这类问题该如何下手？我是要抽取数据（oracle、mysql、db2）到数据湖中。

参考答案：

你找下这个日志，看看这里有没有你要的表。

关于本问题的更多回答可点击进行查看：

https://developer.aliyun.com/ask/492427?spm=a2c6h.13066369.question.15.4d426d0czaLCx6