请问一下,json字符串中有重名但大小写不同的key,使用play.api.libs.json.Json.parse解析json没有报错,但是spark-sql使用org.openx.data.jsonserde.JsonSerDe时,会自动将key转为小写,然后putOnce函数报错Duplicate key,请问有谁遇到过这种情况吗,怎么解决比较好呢?目前只能在初始解析时删掉重名的一个key
按照规范,不推荐出现非小写的 key,参见:https://medium.com/@an_chee/why-using-mixed-case-field-names-in-hive-spark-sql-is-a-bad-idea-95da8b6ec1e0 所以,建议是避免出现重名但大小写不同的 key。避免出现这个情况的办法,可以推荐在 input 和 output 处个加一个 json 的 encode 和 decode 逻辑。encode 处把重名的大写 key,按照您自定义的约定转成其他小写的 key,例如 hkData -> hk$data。然后运算处理完之后再执行 decode 把 hk$data -> hkData。
确实不推荐出现大写的 key,参见:https://medium.com/@an_chee/why-using-mixed-case-field-names-in-hive-spark-sql-is-a-bad-idea-95da8b6ec1e0。可以考虑在 input 和 output 各加一个 encode 和 decode。encode 的逻辑是把大写 key 按照自定义的规则转一层,例如 xxx.hkData -> xxx.hk$data。然后运算完了在 output 的时候,通过 decode 把 xxx.hk$data -> xxx.hkData。
赞0
踩0