哥们,Flink中我建了个实时计算SQL脚本,往目标表写入数据的时候总是报这个错。它说连接器不是用?

哥们,Flink中我建了个实时计算SQL脚本,往目标表写入数据的时候总是报这个错。它说连接器不是用jdbc-cdc创建的,没有在脚本中定义,那不是连接器类型吗connector.type。哥们,给指导一下,该怎样在脚本中定义连接器呢?谢谢了!image.png image.png

展开
收起
真的很搞笑 2023-05-16 17:07:32 211 分享 版权
1 条回答
写回答
取消 提交回答
  • 存在即是合理

    是的,连接器的类型是在SQL脚本中定义的,你需要在CREATE TABLE语句中指定连接器的类型。根据你描述的情况,你的连接器类型应该是CDC(Change Data Capture)。

    以下是一个使用Flink CDC连接器从Kafka读取数据并写入Hive的示例SQL脚本:

    CREATE TABLE my_table (
      event_time TIMESTAMP,
      event_type STRING,
      event_value DOUBLE
    ) WITH (
      'connector.type' = 'kafka-cdc',
      'connector.version' = '1.1',
      'connector.topic' = 'my_topic',
      'connector.group.id' = 'my_group',
      'format.type' = 'json',
      'format.class' = 'org.apache.flink.connector.kafka.source.JsonKafkaSourceFormat',
      'options.bootstrap.servers' = 'localhost:9092',
      'properties.bootstrap.servers' = 'localhost:9092'
    );
    

    在这个例子中,我们使用了Flink CDC连接器从Kafka读取数据,并将数据写入Hive表。在CREATE TABLE语句中,我们使用了CONNECTOR.TYPE子句来指定连接器的类型为kafka-cdc。同时,我们还指定了一些其他的连接器参数,如Kafka topic、分组ID等。

    2023-05-18 13:51:22
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理