如果kafka topic收到与kafka connector sql字段不符的记录，导致flink
如果kafka topic收到与kafka connector sql字段不符的记录，导致flink sql作业反序列化报错，该怎么办呢？
展开
收起
2
条回答
写回答
写回答
-
GitHub https://github.com/co63oc/cloudhttps://blog.51cto.com/u_15080019/2653841 自定义反序列化类
2023-01-14 14:03:53赞同 展开评论 打赏 -
我建议你可以试试下面我总结的几点： 1. 尝试使用Flink的Schema Evolution功能，它可以自动处理字段类型变化，以及增加或删除字段。 2. 尝试使用Flink的TypeInformation功能，它可以检测Kafka topic中的记录，并自动调整Flink SQL作业的反序列化类型。 3. 尝试使用Kafka Connector的Schema Registry功能，它可以检测Kafka topic中的记录，并自动调整Flink SQL作业的反序列化类型。 4. 尝试使用Kafka Connector的Data Validation功能，它可以检测Kafka topic中的记录，并自动拒绝不符合要求的记录。
2023-01-13 16:24:04赞同 展开评论 打赏
问答分类：
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
为什么mqtt 连接一直显示 Not authorized to connect ？用的官网示例。
1940
请教下 mqtt连接成功了，能收到消息， 后面又自动断开了连接， 是什么情况？
703
rocketmq客户端日志路径/root/logs/rocketmqlogs，怎么修改或者关闭日志?
1127
部分客户端通过MQTT推送消息到Topic上，订阅该topic的服务一直收不到消息，怎么排查呀？
888
在Apache RocketMQ中这种情况队列数量应该设置多少比较合理呢？
619
Apache RocketMQ中另外生产者偶尔会报错 排查过服务器运行情况，在报错时服务器监控指标？
2582
Apache RocketMQ中consumeThreadMax 消费者最大线程数怎么理解？ 如果
1102
在消息队列RocketMQ中，请问下 各位大佬，大家在创建 consumer的时候，有遇到这类问题吗
917
rocketmq 超过4M消息体怎么发送
584
rocketmq5.x版本删除消息怎么搞，除了定时清理过期消息机制？
1164
展开全部
相关电子书
更多
