开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flniksql(1.17的版本)写入doris,哪位有过经验?

flniksql(1.17的版本)写入doris,哪位大神有过经验,我现在写doris写不进。想请教一下?

Caused by: java.io.EOFException: Can not read response from server. Expected to read 4 bytes, read 0 bytes before connection was unexpectedly lost.
at com.mysql.cj.protocol.FullReadInputStream.readFully(FullReadInputStream.java:67)
at com.mysql.cj.protocol.a.SimplePacketReader.readHeaderLocal(SimplePacketReader.java:81)
at com.mysql.cj.protocol.a.SimplePacketReader.readHeader(SimplePacketReader.java:63)
at com.mysql.cj.protocol.a.SimplePacketReader.readHeader(SimplePacketReader.java:45)
at com.mysql.cj.protocol.a.NativeProtocol.readMessage(NativeProtocol.java:575)

展开
收起
真的很搞笑 2023-12-10 20:12:56 53 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    从错误日志来看,这是一个Java IO异常,可能是由于网络连接问题导致的。你可以尝试以下方法来解决这个问题:

    1. 检查你的网络连接是否正常,确保Doris和MySQL之间的网络通信没有问题。
    2. 检查防火墙设置,确保Doris和MySQL之间的端口是开放的。
    3. 增加连接超时时间,以便在网络不稳定的情况下有更多的时间来完成连接。你可以在Flink SQL配置文件中设置connector.timeout参数,例如:
    CREATE TABLE source_table (
        id INT,
        name STRING,
        age INT
    ) WITH (
        'connector' = 'mysql-cdc',
        'hostname' = 'your_mysql_host',
        'port' = 'your_mysql_port',
        'username' = 'your_mysql_username',
        'password' = 'your_mysql_password',
        'database-name' = 'your_mysql_database',
        'table-name' = 'your_mysql_table',
        'scan.incremental' = 'true',
        'scan.startup-timestamp-millis' = 'your_startup_timestamp',
        'scan.timestamp-millis-interval' = 'your_interval',
        'connector.timeout' = '60000' -- 设置连接超时时间为60秒
    );
    
    1. 如果问题仍然存在,你可以尝试使用其他数据源,如Apache Kafka或Apache Flink的Kafka Connector,将数据从MySQL传输到Doris。
    2023-12-11 17:16:23
    赞同 展开评论 打赏
  • 自己写Flink程序,调用Doris的DataStream往Doris写,任务多了就做策略调度,利用Checkpoints做两步提交,https://github.com/apache/doris-flink-connector/issues/253,新出的1.5已经支持多表动态写doris了,可以等3.0 。到时候支持整库同步写到doris和元数据转换 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-11 11:18:01
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载