开发者社区 > 大数据与机器学习 > 实时数仓 Hologres > 正文

Hologres中非utf-8格式的数据我们前面有清洗过。这个报错昨天还没有,今天突然出现的。最开?

问题1:Hologres中非utf-8格式的数据我们前面有清洗过。这个报错昨天还没有,今天突然出现的。最开始以为是今天数据有问题,结果再用昨天的数据依旧会报错?image.png 问题2:在进这个表之前我们这边就对脏数据有ETL清洗。格式不正确的、非UTF-8的数据都被清洗掉了,剩下的数据才进入这张表的,就是我刚刚讲的,你的非法数据不是在这个分区,在更早之前的分区

展开
收起
真的很搞笑 2023-05-24 16:54:32 88 0
1 条回答
写回答
取消 提交回答
  • 回答1:你再把之前的非法数据清理掉呢,应该是外表表达式计算没有做优化 所有的数据都是做了::json的操作,所以不合法的就报出来的。 之前能查是没有对这种脏数据做过拦截,新版本做了拦截了。 回答2:应该有遗漏的,再检查看看select count(1) from etl_h5app_data where is_valid_json(info) = false;image.png ,此回答整理自钉群“实时数仓Hologres交流群”

    2023-05-24 17:10:39
    赞同 展开评论 打赏

本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等,也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975

相关产品

  • 实时数仓 Hologres
  • 相关电子书

    更多
    实时数仓Workshop(广州站)- 李佳林 立即下载
    阿里云实时数仓Hologres技术揭秘2.0 立即下载
    实时数仓Hologres技术实战一本通2.0版(下) 立即下载