如果kafka topic收到与kafka connector sql字段不符的记录，导致flink
如果kafka topic收到与kafka connector sql字段不符的记录，导致flink sql作业反序列化报错，该怎么办呢？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
GitHub https://github.com/co63oc/cloud
https://blog.51cto.com/u_15080019/2653841 自定义反序列化类
2023-01-14 14:03:53赞同 展开评论 -
我建议你可以试试下面我总结的几点： 1. 尝试使用Flink的Schema Evolution功能，它可以自动处理字段类型变化，以及增加或删除字段。 2. 尝试使用Flink的TypeInformation功能，它可以检测Kafka topic中的记录，并自动调整Flink SQL作业的反序列化类型。 3. 尝试使用Kafka Connector的Schema Registry功能，它可以检测Kafka topic中的记录，并自动调整Flink SQL作业的反序列化类型。 4. 尝试使用Kafka Connector的Data Validation功能，它可以检测Kafka topic中的记录，并自动拒绝不符合要求的记录。
2023-01-13 16:24:04赞同 展开评论
涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系，全系列产品 Serverless 化。RocketMQ 中文社区：https://rocketmq-learning.com/
