问题一:Flink CDC里这个报错需要调整什么参数吗?
Flink CDC里这个报错需要调整什么参数吗,mysql本身看连接数和连接是正常的
参考答案:
检查connection-size 是不是超过了20个。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/592394
问题二:Flink CDC里从mysql读数据写到hive报这个错,大家有什么解决方法吗?
Flink CDC里从mysql读数据写到hive报这个错,大家有什么解决方法吗?mysql-cdc的版本是2.3.0,
参考答案:
这个错误信息表明你的 Flink SQL 作业试图将更新和删除操作写入到一个不支持这些操作的 Hive 表中。具体来说,错误信息显示表名是 myhive.ystentant hive defult.mysq_cdc_sink
。
要解决这个问题,你可以尝试以下方法:
- 检查表类型:确保你的 Hive 表是外部表,并且使用了正确的存储格式(例如 ORC 或 Parquet),这些格式通常支持更新和删除操作。
- 更改表结构:如果你的 Hive 表不支持更新和删除操作,你可能需要创建一个新的表来接收来自 MySQL 的 CDC 数据。在创建新表时,请确保它支持更新和删除操作。
- 更改 Flink SQL 作业:检查你的 Flink SQL 作业代码,确保它没有尝试执行更新或删除操作。如果确实有此类操作,请修改作业以仅执行插入操作。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/592389
问题三:Flink CDC里再跑又不会报错怎么回事?
Flink CDC里A slave with the same server_uuid/server_id as this slave has connected to the master; the first event 'itpuxdb-binlog.003370' at 350718958, the last event read from '/mysql/log/3306/binlog/itpuxdb-binlog.003370' at 487097941, the last byte read from '/mysql/log/3306/binlog/itpuxdb-binlog.003370' at 487097941. Error code: 1236; SQLSTATE: HY000. idea 里面运行,initial模式。第一次启动跑完数据后关掉,再启动一次就会报这个错。把ck删除,再跑又不会报错怎么回事?
参考答案:
同一个server_ID的影响
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/592378
问题四:flink1.16 提交jar包处显示这个是啥原因呢?
flink1.16 提交jar包处显示这个是啥原因呢?Yarn's AM proxy doesn't allow file uploads. You can visit here to access this functionality.
参考答案:
post请求被禁用了,yarn的代理策略问题好像是
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/594025
问题五:Flink filter(Objects::nonNull)报类型转换异常的根源是什么?
Flink filter(Objects::nonNull)报类型转换异常的根源是什么?
参考答案:
你的map算子后面不可能能null,异常就是后面filter后面出的
关于本问题的更多回答可点击进行查看: