开发者社区> 问答> 正文

Iceberg Upsert: Iceberg 通过Kafka一次性插入多条主键值相同的数据,为什么

Iceberg upsert:

当iceberg中同一批插入主键相同的多条数据,flink sql 查询不出来,会报错。报错如下: java.lang.IllegalArgumentException: Row arity: 3, but serializer arity: 2

这个错误的意思就是,我插入的数据是两列,但是table schema已经是三列了。

大家知道这是什么问题么?

当主键不同的时候,同一批插入多条数据都是可以正常插入,并且也是可以upsert的。*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-02 11:16:19 1150 0
1 条回答
写回答
取消 提交回答
  • arity: 2
    at
    org.apache.flink.table.runtime.typeutils.RowDataSerializer.copy(RowDataSerializer.java:117) 
    at
    org.apache.flink.table.runtime.typeutils.RowDataSerializer.copy(RowDataSerializer.java:50) 
    at
    org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.pushToOperator(OperatorChain.java:715) 
    at
    org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.collect(OperatorChain.java:692) 
    at
    org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.collect(OperatorChain.java:672) 
    at
    org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:52) 
    at
    org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:30) 
    at
    org.apache.flink.streaming.api.operators.StreamSourceContexts$ManualWatermarkContext.processAndCollect(StreamSourceContexts.java:305)
    at
    org.apache.flink.streaming.api.operators.StreamSourceContexts$WatermarkContext.collect(StreamSourceContexts.java:394) 
    at
    org.apache.flink.streaming.api.functions.source.InputFormatSourceFunction.run(InputFormatSourceFunction.java:94) 
    at
    org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:100)
    at
    org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:63)
    at
    org.apache.flink.streaming.runtime.tasks.SourceStreamTask$LegacySourceFunctionThread.run(SourceStreamTask.java:201)
    
    *来自志愿者整理的FLINK邮件归档
    
    2021-12-02 11:27:44
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载