开发者社区> 问答> 正文

Flink SQL 解析复杂(嵌套)JSON的问题 以及写入到hive类型映射问题

json格式,如果是一个json array 该如何定义 schema,array里还可能存在嵌套json array的情况。

如数据: {"user_info":{"user_id":"0111","name":"xxx"},"timestam":1586676835655,"id":"10001","jsonArray":[{"name222":"xxx","user_id222":"0022"},{"name333":"name3333","user_id222":"user3333"},{"cc":"xxx333","user_id444":"user4444","name444":"name4444"}]}

参照:https://www.cnblogs.com/Springmoon-venn/p/12664547.html 需要schema这样定义: user_info 定义成:ROW<user_id STRING, name STRING> jsonArray 定义成 : ARRAY<ROW<user_id222 STRING, name222 STRING>>

问题是: 如果json array 里还有一个array 也是继续嵌套定义吗? 这个数据是要写入到hive,该怎么映射,array ,怎么映射成Hive类型,比如映射成array ,这种情况的json该如何处理? 有没有什么办法直接把json array,直接映射成array ,试了一下发现不行,该如何处理这种复杂类型。*来自志愿者整理的flink邮件归档

展开
收起
说了是一只鲳鱼 2021-12-07 10:15:41 1710 0
1 条回答
写回答
取消 提交回答
  • Json format有一个issue在解这个问题[1],可以把jsonNode强制转成 string, 1.12里会支持,可以看下.[1] https://issues.apache.org/jira/browse/FLINK-18002 https://issues.apache.org/jira/browse/FLINK-18002*来自志愿者整理的flink邮件归档

    2021-12-07 11:35:25
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载

相关镜像