开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

请问这样有办法跳过吗?

请问,sr 2.3版本,导入遇到错误编码格式。 abortedTaskNum数一直上升,卡在当下的offset,不动了。 报错信息如下: Error: Data quality error: Failed to iterate document stream as object. error: The input is not valid UTF-8. Row: parser current location: {"uniid":"1d58cc41769d78cf2af98f19f68e47b4","uni_type":"imei","brand":"亿美讯联开发科技有限å ","model":"","os":"ANDROID","os_version":"4.1.0","user_category":null}

有办法跳过吗?

展开
收起
圆葱猪肉包 2023-03-27 10:46:57 265 0
1 条回答
写回答
取消 提交回答
  • 试试修改作业配置一个容错 ,max_error_number,如果你的版本比较低不支持修改的话,就需要取消掉这个任务,然后指定offset和配置容错后重新消费。此回答整理自钉群“EMR OLAP(ClickHouse&StarRocks) 用户技术交流群”

    2023-03-28 10:49:01
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载