AI 助理
备案控制台
开发者社区 大数据 文章 正文

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

2022-12-29 497
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

报错信息


Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$
  at spark.day1.AA$.main(no2.scala:11)
  at spark.day1.AA.main(no2.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
  at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
  at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

... 2 more

解决方法


检查pom文件


把<scope>provided</scope> 去掉即可


<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-sql_2.11</artifactId>
  <version>2.4.4</version>
  <scope>provided</scope>
</dependency>

 


文章标签：
分布式计算
SQL
Spark
Apache
关键词：
apache spark SQL
Java SQL
main Java
exception main Java
exception thread Java
游客yno6xv7miabmw
目录
相关文章
游客wkqymr43luqiu
|
2月前
|
SQL JSON 分布式计算
Spark SQL架构及高级用法
Spark SQL基于Catalyst优化器与Tungsten引擎，提供高效的数据处理能力。其架构涵盖SQL解析、逻辑计划优化、物理计划生成及分布式执行，支持复杂数据类型、窗口函数与多样化聚合操作，结合自适应查询与代码生成技术，实现高性能大数据分析。
游客wkqymr43luqiu
215 2
2G冲浪词条
|
4月前
|
Java
Java 中 Exception 和 Error 的区别
在 Java 中，`Exception` 和 `Error` 都是 `Throwable` 的子类，用于表示程序运行时的异常情况。`Exception` 表示可被捕获和处理的异常，分为受检异常（Checked）和非受检异常（Unchecked），通常用于程序级别的错误处理。而 `Error` 表示严重的系统级问题，如内存不足或 JVM 错误，一般不建议捕获和处理。编写程序时应重点关注 `Exception` 的处理，确保程序稳定性。
2G冲浪词条
108 0
瓴羊Dataphin
|
6月前
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
瓴羊Dataphin
178 4
卓伊凡
|
9月前
|
Java Maven
java项目中jar启动执行日志报错：no main manifest attribute, in /www/wwwroot/snow-server/z-server.jar-jar打包的大小明显小于正常大小如何解决
在Java项目中，启动jar包时遇到“no main manifest attribute”错误，且打包大小明显偏小。常见原因包括：1) Maven配置中跳过主程序打包；2) 缺少Manifest文件或Main-Class属性。解决方案如下：
卓伊凡
2205 8
java项目中jar启动执行日志报错：no main manifest attribute, in /www/wwwroot/snow-server/z-server.jar-jar打包的大小明显小于正常大小如何解决
技术小达人
|
8月前
|
SQL 分布式计算 Java
Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化
本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享，主要内容包括以下四个部分： 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作
技术小达人
882 0
yuanzhengme
|
10月前
|
Java 网络安全 Maven
Exception in thread "main" java.lang.NoSuchMethodError: okhttp3.OkHttpClient$Builder.sslSocketFactory(Ljavax/net/ssl/SSLSocketFactory;Ljavax/net/ssl/X509TrustManager;)Lokhttp3/OkHttpClient$Builder; 问题处理
【10月更文挑战第26天】Exception in thread "main" java.lang.NoSuchMethodError: okhttp3.OkHttpClient$Builder.sslSocketFactory(Ljavax/net/ssl/SSLSocketFactory;Ljavax/net/ssl/X509TrustManager;)Lokhttp3/OkHttpClient$Builder; 问题处理
yuanzhengme
411 2
Dylaniou
|
11月前
|
Java
让星星⭐月亮告诉你，Java异常分类[Throwable(Error/Exception(RuntimeException/其他异常)) 检查时异常 非检查时异常]
本文深入解析了Java异常处理机制，重点介绍了`Throwable`类及其子类`Error`和`Exception`，并通过实例代码、流程图和表格详细解释了异常的分类、区别及处理方法，帮助读者掌握异常处理的关键技巧，提升程序的稳定性和健壮性。
Dylaniou
250 1
赵渝强老师
|
10月前
|
SQL JSON 分布式计算
【赵渝强老师】Spark SQL的数据模型：DataFrame
本文介绍了在Spark SQL中创建DataFrame的三种方法。首先，通过定义case class来创建表结构，然后将CSV文件读入RDD并关联Schema生成DataFrame。其次，使用StructType定义表结构，同样将CSV文件读入RDD并转换为Row对象后创建DataFrame。最后，直接加载带有格式的数据文件（如JSON），通过读取文件内容直接创建DataFrame。每种方法都包含详细的代码示例和解释。
赵渝强老师
209 0
武子康
|
11月前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
242 0
武子康
|
11月前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
武子康
189 0

热门文章

最新文章

  • 1
    Apache Doris 实时更新技术揭秘：为何在 OLAP 领域表现卓越？
  • 2
    智能运维与数据治理：基于 Apache Doris 的 Data Agent 解决方案
  • 3
    Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
  • 4
    Apache Doris 2.1.10 版本正式发布
  • 5
    Apache Doris 4.0 AI 能力揭秘（一）：AI 函数之 LLM 函数介绍
  • 6
    从“写SQL”到“聊数据”：NL2SQL如何用自然语言解锁数据库？
  • 7
    Flink 2.1 SQL：解锁实时数据与AI集成，实现可扩展流处理
  • 8
    云时代SQL Server的终极答案：阿里云 RDS SQL Server如何用异地容灾重构系统可靠性
  • 9
    SQL 移植--SPL 轻量级多源混算实践 7
  • 10
    SQL Server 2025 年 8 月更新 - 修复 CVE-2025-49759 SQL Server 特权提升漏洞
  • 1
    “Spark Streaming异常处理秘籍：揭秘如何驯服实时数据流的猛兽，守护你的应用稳如泰山，不容错过！”
    187
  • 2
    【决战大数据之巅】：Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决！
    606
  • 3
    Spark 与 Hadoop 的大数据之战：一场惊心动魄的技术较量，决定数据处理的霸权归属！
    185
  • 4
    【Deepin 20系统】Linux 系统安装Spark教程及使用
    259
  • 5
    云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
    154
  • 6
    【开发者评测】E-MapReduce Serverless Spark获奖名单
    253
  • 7
    Hadoop与Spark在大数据处理中的对比
    570
  • 8
    在hue上部署spark作业
    305
  • 9
    Python与Apache Spark：实时AI的大数据引擎——Spark Streaming实战
    394
  • 10
    MaxCompute操作报错合集之 Spark Local模式启动报错，是什么原因
    165

    • 相关课程

    更多
  • Java面试疑难点解析 - 面试技巧及语言基础
  • Java面试疑难点解析 - Java Web开发
  • Java面试疑难点解析 - 系统架构及项目设计
  • Java编程入门
  • Java面向对象编程
  • Java高级编程

    • 相关电子书

    更多
  • Spring Cloud Alibaba - 重新定义 Java Cloud-Native
  • The Reactive Cloud Native Arch
  • JAVA开发手册1.5.0

    • 推荐镜像

    更多
  • apache
    • 下一篇
    蛋白质语言模型 ProGen：在实验室合成由 AI 预测的蛋白质