开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

在Flink我用 kafka 元数据,深度检查时,已经加了但是仍然报错;请问还要设置什么吗?

在Flink我用 kafka 元数据,深度检查时,已经加了但是仍然报错;请问还要设置什么吗?03e191fd0e45f7444acef5908621e432.png
3bda8ec8a1ef332a0de24dfa6c3466aa.png
https://vvp.console.aliyun.com/web/c46e1a89755442/zh/#/workspaces/c46e1a89755442/namespaces/testtaskselectdb-default/draft/2fcaf78d-d5a8-4df9-ab9a-75d53c03cc51/sql

展开
收起
三分钟热度的鱼 2024-04-17 18:59:24 55 0
1 条回答
写回答
取消 提交回答
  • 你看一下那个gropu.id的参数,应该是表名,但是您看看new_kafka的这个参数,并不是您的源表,所以catalog有问题,这个参数是错误的。所以您检验失败。方法:创建新的kafka的catalog时,不指定group.id。CREATE CATALOG WITH(
    'type'='kafka',
    'properties.bootstrap.servers'='',
    'format'='json',
    'default-database'='',
    'key.fields-prefix'='',
    'value.fields-prefix'='',
    'timestamp-format.standard'='',
    'infer-schema.flatten-nested-columns.enable'='',
    'infer-schema.primitive-as-string'='',
    'infer-schema.parse-key-error.field-name'='',
    'infer-schema.compacted-topic-as-upsert-table'='true',
    'max.fetch.records'='100',
    'aliyun.kafka.accessKeyId'='',
    'aliyun.kafka.accessKeySecret'='',
    'aliyun.kafka.instanceId'='',
    'aliyun.kafka.endpoint'='',
    'aliyun.kafka.regionId'=''
    );用这个,修改一下参数,试试。参考https://help.aliyun.com/zh/flink/user-guide/manage-kafka-json-catalogs?spm=a2c4g.11186623.0.i12 此回答整理自钉群“实时计算Flink产品交流群”

    2024-04-17 19:45:36
    赞同 2 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载