开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute文档中有 spark 访问 OSS 部分。这个您知道是什么问题吗?

大数据计算MaxCompute文档中有 spark 访问 OSS 部分。我想实现的是 通过 spark 写入 hudi 文件到 oss ,再用 maxcomputer 进行读取外部表。但是我 spark 访问 oss 一直说我证书错误。这个您知道是什么问题吗?image.png
image.png
Exception in thread "main" com.aliyun.oss.ClientException: java.security.cert.CertificateException: None of the TrustManagers trust this certificate chain

展开
收起
真的很搞笑 2024-03-04 10:15:29 101 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Spark访问OSS时出现证书错误的问题,可能是由于以下几个原因造成的:

    1. 证书配置不匹配:确保您的Spark配置中已经正确设置了访问OSS所需的证书。如果您使用的是自定义域名,需要确保该域名的证书已经被正确上传并配置在OSS控制台中。
    2. StsToken配置:如果您是通过临时安全凭证(StsToken)来访问OSS的,需要确保spark.hadoop.fs.oss.credentials.providerspark.hadoop.fs.oss.ststoken.roleArn这两个配置项已经被正确设置。
    3. 网络问题:检查您的网络连接是否稳定,因为不稳定的网络也可能导致访问失败。
    4. 权限问题:确保您的Spark应用程序具有访问OSS的相应权限。如果是在ECS上运行Spark,还需要确保ECS实例的角色策略允许访问OSS。
    5. OSS服务端问题:在某些情况下,问题可能出在OSS服务端,比如服务暂时不可用或者出现了其他故障。这种情况下,可以尝试联系阿里云的技术支持寻求帮助。
    6. 版本兼容性:确认您使用的Spark和Hadoop的版本与OSS SDK兼容。如果存在版本不兼容的问题,可能需要升级或降级相关组件。

    综上所述,在处理这类问题时,您可以从上述几个方面进行排查和调整。如果问题依旧无法解决,建议查阅阿里云官方文档或联系阿里云技术支持获取更专业的帮助。同时,确保您的操作符合最佳安全实践,避免泄露敏感信息。

    2024-03-04 13:53:39
    赞同 1 展开评论 打赏
  • 看上去不是MaxCompute侧抛出的,我理解和本机有关系。查到一篇文章,可以参考下
    https://developer.aliyun.com/article/1323030 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-03-04 10:43:45
    赞同 展开评论 打赏
  • 关于Spark访问OSS出现证书错误的问题,这通常是由于SSL/TLS连接配置不正确导致的信任链验证失败。以下是可能的原因及解决方案:

    • 证书未被信任:确认您使用的JVM或Spark集群中是否包含了阿里云OSS服务端证书的信任根证书。如果未包含,则需要将有效的CA证书添加到您的Java Keystore中,或者在客户端配置中指定正确的信任存储路径和密码。

    • 自签名证书:若OSS使用了自签名证书,请确保该自签名证书已被客户端接受或导入到信任库中。

    • 配置问题:检查您的Spark连接OSS的相关配置项,比如spark.hadoop.fs.oss.ssl.enabledspark.hadoop.fs.oss.client.ssl.provider等,确保它们指向了正确的安全配置。

    • 网络代理影响:如果有网络代理介入并修改了SSL连接,可能会导致证书验证失败。确保代理配置正确,并且不会干扰HTTPS连接的安全性。

    • 过期或无效证书:确认阿里云OSS服务端证书是否有效,有时服务端更新了证书而客户端未及时更新也会导致此类错误。

    解决此问题通常涉及以下步骤:

    • 检查和更新Spark/OSS连接配置中的相关证书信息。
    • 确保Spark集群中的JDK安装了必要的信任证书。
    • 如果是企业内部私有CA签发的证书,需要将其加入到集群的信任证书列表中。
    2024-03-04 10:27:18
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Hybrid Cloud and Apache Spark 立即下载
    Scalable Deep Learning on Spark 立即下载
    Comparison of Spark SQL with Hive 立即下载