问题1:Hologres中非utf-8格式的数据我们前面有清洗过。这个报错昨天还没有,今天突然出现的。最开始以为是今天数据有问题,结果再用昨天的数据依旧会报错? 问题2:在进这个表之前我们这边就对脏数据有ETL清洗。格式不正确的、非UTF-8的数据都被清洗掉了,剩下的数据才进入这张表的,就是我刚刚讲的,你的非法数据不是在这个分区,在更早之前的分区
回答1:你再把之前的非法数据清理掉呢,应该是外表表达式计算没有做优化 所有的数据都是做了::json的操作,所以不合法的就报出来的。 之前能查是没有对这种脏数据做过拦截,新版本做了拦截了。 回答2:应该有遗漏的,再检查看看select count(1) from etl_h5app_data where is_valid_json(info) = false; ,此回答整理自钉群“实时数仓Hologres交流群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975