flniksql(1.17的版本)写入doris,哪位大神有过经验,我现在写doris写不进。想请教一下?
Caused by: java.io.EOFException: Can not read response from server. Expected to read 4 bytes, read 0 bytes before connection was unexpectedly lost.
at com.mysql.cj.protocol.FullReadInputStream.readFully(FullReadInputStream.java:67)
at com.mysql.cj.protocol.a.SimplePacketReader.readHeaderLocal(SimplePacketReader.java:81)
at com.mysql.cj.protocol.a.SimplePacketReader.readHeader(SimplePacketReader.java:63)
at com.mysql.cj.protocol.a.SimplePacketReader.readHeader(SimplePacketReader.java:45)
at com.mysql.cj.protocol.a.NativeProtocol.readMessage(NativeProtocol.java:575)
从错误日志来看,这是一个Java IO异常,可能是由于网络连接问题导致的。你可以尝试以下方法来解决这个问题:
connector.timeout
参数,例如:CREATE TABLE source_table (
id INT,
name STRING,
age INT
) WITH (
'connector' = 'mysql-cdc',
'hostname' = 'your_mysql_host',
'port' = 'your_mysql_port',
'username' = 'your_mysql_username',
'password' = 'your_mysql_password',
'database-name' = 'your_mysql_database',
'table-name' = 'your_mysql_table',
'scan.incremental' = 'true',
'scan.startup-timestamp-millis' = 'your_startup_timestamp',
'scan.timestamp-millis-interval' = 'your_interval',
'connector.timeout' = '60000' -- 设置连接超时时间为60秒
);
自己写Flink程序,调用Doris的DataStream往Doris写,任务多了就做策略调度,利用Checkpoints做两步提交,https://github.com/apache/doris-flink-connector/issues/253,新出的1.5已经支持多表动态写doris了,可以等3.0 。到时候支持整库同步写到doris和元数据转换 ,此回答整理自钉群“Flink CDC 社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。