Flink SQL读取复杂JSON格式
Hello，各位大佬： 请教下大佬们，在Flink SQL中读取Kafka中的数据，但Kafka中的数据比较复杂，其中json的data属性中的值是数组，但数组的内容是动态的，没有统一，如果定义create table时候schema呢？我定义了array ，想自己定义UDF来处理的，在JsonNode中的asText无法取到数据。 请问各位大佬有啥高招呢？谢谢。
kafka消息样例(data的value是动态的)： {"source":"transaction_2020202020200","data":[{"name":"d1111"},{"age":18}]} 我定义的schema： create table kafka_message( source string, data array )with...*来自志愿者整理的flink邮件归档
写回答
-
http://apache-flink.147419.n8.nabble.com/FlinkSQL-JsonObject-td9166.html#a9259 这个邮件列表有相似的问题，你看下有没有帮助。 PS：1.12 即将发布，也支持了 Raw 类型[1]，也可以使用这个类型，然后代码自己 UDF 再处理。使用 Raw 类型也有个好处是，Source 消费不会因为 format 解析慢导致任务的瓶颈在拉数据慢，因为往往 Source 的并发度最大也只能是中间件的分区数，比如 Kakfa。 [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/raw.html *来自志愿者整理的flink邮件归档
2021-12-06 13:20:14赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关文章
相关电子书
更多
