请问一下，json字符串中有重名但大小写不同的key，使用play.api.libs.json.Json.parse解析json没有报错，但是spark-sql使用org.openx.data.jsonserde.JsonSerDe时，会自动将key转为小写，然后putOnce函数报错Duplicate key，请问有谁遇到过这种情况吗，怎么解决比较好呢？目前只能在初始解析时删掉重名的一个key
请问一下，json字符串中有重名但大小写不同的key，使用play.api.libs.json.Json.parse解析json没有报错，但是spark-sql使用org.openx.data.jsonserde.JsonSerDe时，会自动将key转为小写，然后putOnce函数报错Duplicate key，请问有谁遇到过这种情况吗，怎么解决比较好呢？目前只能在初始解析时删掉重名的一个key
写回答
-
按照规范，不推荐出现非小写的 key，参见：https://medium.com/@an_chee/why-using-mixed-case-field-names-in-hive-spark-sql-is-a-bad-idea-95da8b6ec1e0 所以，建议是避免出现重名但大小写不同的 key。
避免出现这个情况的办法，可以推荐在 input 和 output 处个加一个 json 的 encode 和 decode 逻辑。encode 处把重名的大写 key，按照您自定义的约定转成其他小写的 key，例如 hkData -> hk$data。然后运算处理完之后再执行 decode 把 hk$data -> hkData。
确实不推荐出现大写的 key，参见：https://medium.com/@an_chee/why-using-mixed-case-field-names-in-hive-spark-sql-is-a-bad-idea-95da8b6ec1e0。
可以考虑在 input 和 output 各加一个 encode 和 decode。encode 的逻辑是把大写 key 按照自定义的规则转一层，例如 xxx.hkData -> xxx.hk$data。然后运算完了在 output 的时候，通过 decode 把 xxx.hk$data -> xxx.hkData。2019-07-17 23:27:21赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关文章
相关电子书
更多
