sqoop数据导出报错Job failed as tasks failed. failedMaps:1 failedReduces:0

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: sqoop数据导出报错Job failed as tasks failed. failedMaps:1 failedReduces:0

1,报错信息:

Job failed as tasks failed. failedMaps:1 failedReduces:0

2,问题分析:

sqoop导出数据的时候,一般这样的报错判断有两种可能,一种是字段长度的问题,还有一种就是分隔符的问题

首先需要到CHD平台去查看yarn的允许日志,查看报错的详细内容,具体是哪一个表的哪一个字段报错,以及报错的类型是什么,我出现的问题有两种

(1)Data too long for column ‘XXX’ at row 67

问题解析

这样的错误表示XXX字段类型长度不够,hive的数据在导出的时候太长了,没有办法插入到MySQL里面

解决方式

查看hive表字段的长度,然后修改MySQL表字段XXX的对应长度

(2)Mysql:Incorrect string value: '\xF0\x9F\x8D\x83\xF0\x9F...' for column

问题解析

Mysql数据编码格式为“utf-8”,对于汉字来说足够;Mysql中utf8占3个字节,但是,3个字节对于表情符号是不够的,需4个字节;此时使用utf8,会出现‘\xF0\x9F\x8D\x83\xF0\x9F’的问题。

解决方式

utf8mb4编码是utf8编码的超集,兼容utf8,并且能存储4字节的表情字符。修改对应表字段的编码格式为utf8mb4
ALTER TABLE table1  CHANGE col1   col1   字段类型(字段长度) CHARACTER SET utf8mb4 ; 
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
SQL Oracle 关系型数据库
sqoop的导入导出以及where条件过滤数据导出
sqoop的导入导出以及where条件过滤数据导出
|
7月前
Sqoop Job报错日志
Sqoop Job报错日志
42 0
|
关系型数据库 MySQL 数据库
75 sqoop的数据导出
75 sqoop的数据导出
25 0
|
存储 数据采集 SQL
大数据数据采集的数据迁移(同步/传输)的Sqoop之基本命令和使用的job作业
在大数据领域中,Sqoop是一款非常流行的数据迁移工具。它可以将关系型数据库中的数据快速地移动到Hadoop生态系统中,方便我们进行更深入的分析和处理。本文将介绍Sqoop的基本命令及如何使用Sqoop来创建和运行job作业,希望能够为大家提供一些参考和帮助。
178 0
|
SQL 运维 Oracle
【大数据开发运维解决方案】sqoop避免输入密码自动增量job脚本介绍
上一篇文章介绍了sqoop增量同步数据到hive,同时上一篇文章也给出了本人写的hadoop+hive+hbase+sqoop+kylin的伪分布式安装方法及使用和增量同步实现的连接, 本篇文章将介绍如何将上一篇文章介绍的增量方式同sqoop自带的job机制和shell脚本以及crontab结合起来实现自动增量同步的需求。
【大数据开发运维解决方案】sqoop避免输入密码自动增量job脚本介绍
|
SQL 关系型数据库 MySQL
|
7月前
|
SQL 分布式计算 监控
Sqoop数据迁移工具使用与优化技巧:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入解析Sqoop的使用、优化及面试策略。内容涵盖Sqoop基础,包括安装配置、命令行操作、与Hadoop生态集成和连接器配置。讨论数据迁移优化技巧,如数据切分、压缩编码、转换过滤及性能监控。此外,还涉及面试中对Sqoop与其他ETL工具的对比、实际项目挑战及未来发展趋势的讨论。通过代码示例展示了从MySQL到HDFS的数据迁移。本文旨在帮助读者在面试中展现Sqoop技术实力。
502 2
|
数据采集 SQL 分布式计算
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
1441 0