开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

问下大数据计算MaxCompute,上传资源后,报错,什么原因?

问下大数据计算MaxCompute,自定义udf的函数,引用了import net.sourceforge.pinyin4j.PinyinHelper;但是上传资源后,报错:23487cee51ed703fa69b5a64f05649e1.png
Caused by: java.lang.ClassNotFoundException: net.sourceforge.pinyin4j.PinyinHelper

展开
收起
真的很搞笑 2023-12-10 15:22:40 36 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个问题可能是因为在MaxCompute中,自定义的UDF函数引用了net.sourceforge.pinyin4j.PinyinHelper这个类,但是该类没有被正确地打包到你的项目中。

    解决这个问题的方法是:

    1. 确保你已经将pinyin4j库添加到你的项目依赖中。如果你使用的是Maven,可以在pom.xml文件中添加以下依赖:
    <dependency>
        <groupId>com.belerweb</groupId>
        <artifactId>pinyin4j</artifactId>
        <version>2.5.1</version>
    </dependency>
    
    1. 如果你使用的是其他构建工具,如Gradle,请确保你也添加了相应的依赖。

    2. 如果你已经添加了依赖,但仍然出现问题,那么可能是IDE的问题。尝试重启IDE或者清理并重新构建项目。

    3. 如果以上方法都无法解决问题,你可以尝试将pinyin4j库手动下载到本地,然后将本地的jar文件添加到项目的类路径中。

    2023-12-11 14:02:07
    赞同 1 展开评论 打赏
  • 错误2: https://help.aliyun.com/zh/maxcompute/user-guide/odps-0123031?spm=a2c4g.11186623.0.i121

    java.lang.ClassNotFoundException:com.aliyun.odps.hive.wrapper.HiveInputFormatWrapper
    错误信息示例
    ODPS-0123131:User defined function exception - internal error - Fatal Error Happended

    java.lang.RuntimeException: java.lang.ClassNotFoundException: com.aliyun.odps.hive.wrapper.HiveInputFormatWrapper

    错误描述
    使用到了hive相关的解析器,但没有打开hive兼容开关,导致报错。

    解决方案
    设置以下参数打开hive兼容模式:

    set odps.sql.hive.compatible=true;

    2023-12-10 17:50:46
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载