一.引言
上一篇文章提到了 Java map-reduce 如何单独读取 ORC 文件以及 RcFile 文件，在同一个 MR 任务下分别读取 RcFile 以及 ORC 文件时，报如下错误: java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()I。完整的异常栈如下:
2022-04-20 06:44:47,326 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()I at org.apache.orc.impl.RecordReaderImpl.nextBatch(RecordReaderImpl.java:1093) at org.apache.orc.mapreduce.OrcMapreduceRecordReader.ensureBatch(OrcMapreduceRecordReader.java:69) at org.apache.orc.mapreduce.OrcMapreduceRecordReader.nextKeyValue(OrcMapreduceRecordReader.java:87) at org.apache.hadoop.mapreduce.lib.input.DelegatingRecordReader.nextKeyValue(DelegatingRecordReader.java:89) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:556) at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80) at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91) at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145) at org.apache.hadoop.mapreduce.lib.input.DelegatingMapper.run(DelegatingMapper.java:55) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:243) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1726) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:237)
其中 orc map-reduce 依赖为:
<dependency> <groupId>org.apache.orc</groupId> <artifactId>orc-mapreduce</artifactId> <version>1.1.0</version> </dependency>
二.问题分析与解决
1.是否拥有该方法
noSuchMethod 错误首先需要判断是否确实没有该方法，由于之前很多次遇到 noSuchMethod 都是依赖冲突，所以总是上来就按依赖冲突解决，其实很多时候确实是没有该依赖，只需要增加 pom 即可解决。所以查看项目依赖中是否包含 org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()I 该方法，检查后发现对应 VectorizedRowBatch 类下无 getMaxSize 方法，所以验证了上面的想法，说明需要引入新的依赖。
编辑
Tips:
这里简单说下 getMaxSize()I 这个方法最后面 I 的含义，最后面 I 的含义为该方法对应的返回值，上面报错的第一行其实就是完整的 java 函数签名，转换一下：
Int org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize();
除了 I 之外，常见的还有如下返回值签名:
| Z | boolean |
| B | byte |
| C | char |
| S | short |
| I | int |
| J | long |
| F | float |
| D | double |
| L fully-qualified-class | fully-qualified-class |
| [ type | type[] |
| ( arg-types ) ret-type | method type |
| <init> | 构造方法 |
| <cinit> | 静态类初始化代码 |
2.寻找对应方法的 jar 包
上述 VectorizedRowBatch 类来源于 hive-exec 依赖，该依赖 VectorizedRowBatch 类不包含 getMaxSize()I 方法，所以顺着回去找读取 orc 文件时其内部用到的类来自哪个依赖:
首先根据异常栈第三行找到调用该类的 class 以及其对应的 import
编辑
然后调出快捷搜索框搜索 VectorizedRowBatch:
编辑
这下找到了，该方法真实调用的 org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch 方法来源于 hive-storage-api-2.8.1 版本 :
编辑
果断加入该依赖重新打包尝试~
<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-storage-api</artifactId> <version>2.8.1</version> </dependency>
执行后发现依然报错 o(╥﹏╥)o
java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()I
3.jar包依赖冲突
之前提到过 noSuchMethod 的几种常见可能:
A.无该 method，引入 pom 依赖解决
B.多 package 拥有该 method，但版本不同，统一版本解决
C.多 package 拥有该 method，签名不同，去除或 exclude 错误 jar 解决
编辑
这里属于类型 D，多 jar 包拥有父类，但不都包含对应 method，所以运行继续报错 noSuchMethod，由于读取 rcFile 需要用到 hive-exec 包所以不能按照上面 B,C 的解决方法删除掉该 jar 包，这时候需要用到 maven 依赖的优先级，maven 打包根据 pom 的放置顺序采用最短路径调用，即取最靠上方的依赖，所以这里把 hive-storage-api 依赖挪到 orc-mapreduce 和 hive-exec 上面，读取 orcFile 时优先调用 hive-storage-api 的 VectorizedRowBatch.getMaxSize()，读取 rcFile 和其他文件时，不使用该方法所以忽略，继续调用后续 pom 依赖:
<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-storage-api</artifactId> <version>2.8.1</version> </dependency> <dependency> <groupId>org.apache.orc</groupId> <artifactId>orc-mapreduce</artifactId> <version>1.1.0</version> </dependency> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>0.13.0</version> </dependency>
这里简单总结下上面的情况:
D.多 package 拥有父类，但只有一个 package 父类拥有对应方法，调整 pom 依赖顺序解决
再次打包尝试任务终于正常运行 🕶
22/04/20 14:26:59 INFO mapreduce.Job: map 100% reduce 90% 22/04/20 14:27:06 INFO mapreduce.Job: map 100% reduce 91% 22/04/20 14:27:12 INFO mapreduce.Job: map 100% reduce 92% 22/04/20 14:27:18 INFO mapreduce.Job: map 100% reduce 93% 22/04/20 14:27:25 INFO mapreduce.Job: map 100% reduce 94% 22/04/20 14:27:32 INFO mapreduce.Job: map 100% reduce 95% 22/04/20 14:27:40 INFO mapreduce.Job: map 100% reduce 96% 22/04/20 14:27:49 INFO mapreduce.Job: map 100% reduce 97% 22/04/20 14:28:01 INFO mapreduce.Job: map 100% reduce 98% 22/04/20 14:28:15 INFO mapreduce.Job: map 100% reduce 99% 22/04/20 14:28:46 INFO mapreduce.Job: map 100% reduce 100% 22/04/20 14:30:23 INFO mapreduce.Job: Job job_xxx completed successfully
三.总结
开发总是遇到 noSuchMethod，而且还是不同类型，只能通过慢慢积累，根据其异常栈一步一步回看源码和原始 jar 才能解决，bug 无止境呀~
编辑
