AI 助理
文档备案控制台
开发者社区 大数据与机器学习 文章 正文

spark 与 scala 的对应版本查看、在idea中maven版本不要选择17，弄了好久，换成11就可以啦

2024-02-24 1210
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： spark 与 scala 的对应版本查看、.在idea中maven版本不要选择17，弄了好久，换成11就可以啦

1 ，思路 ：

去 maven 查看


2 ，网址 ：

https://mvnrepository.com/artifact/org.apache.spark/spark-core


3 ，看到 ：

image.png


4 ，总结 ：

1 ，spark3.0 以后，不再支持 scala2.11

2 ，spark3.0 以后，只能用 scala2.12

3.在idea中maven版本不要选择17，弄了好久，换成11就可以啦



文章标签：
分布式计算
Spark
Scala
Java
Maven
孙玉洁-47170
目录
相关文章
武子康
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
武子康
475 0
武子康
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
武子康
612 0
蓝易云
|
Java 应用服务中间件 Maven
在IntelliJ IDEA中如何配置使用Maven以创建Tomcat环境
所以，别担心这些工具看起来有些吓人，实际上这些都是为了帮助你更好的完成工作的工具，就像超市里的各种烹饪工具一样，尽管它们看起来可能很复杂，但只要你学会用，它们会为你烹饪出一道道美妙的食物。这就是学习新技能的乐趣，让我们一起享受这个过程，攀登知识的高峰！
蓝易云
978 27
蓝易云
|
Java 应用服务中间件 Apache
在IntelliJ IDEA中使用Maven配置Tomcat环境
此配置方法具有较高的实用性，简单易懂。遵循以上步骤，您将能顺利在IntelliJ IDEA中使用Maven配置Tomcat环境，从而进行Web项目的开发和调试。
蓝易云
2134 18
yuanzhengme
|
缓存 IDE Java
idea的maven项目打包时没有source下的文件
【10月更文挑战第21天】idea的maven项目打包时没有source下的文件
yuanzhengme
1455 1
Codelinghu
|
Java 应用服务中间件 Maven
【终极解决方案】IDEA maven 项目修改代码不生效。
【终极解决方案】IDEA maven 项目修改代码不生效。
Codelinghu
2804 1
小王老师呀
|
Java Linux Maven
IDEA如何用maven打包（界面和命令两种方式）
【10月更文挑战第14天】本文介绍了两种Maven项目打包方法：命令行与IDEA界面。首先确保已安装Maven并配置环境变量，通过`mvn -v`检查安装。命令行打包需进入项目目录，执行`mvn package`，之后在`target`目录查看结果。IDEA打包则需配置Maven路径，打开Maven Projects窗口，双击Lifecycle下的`package`阶段，同样在`target`目录查找生成文件，并在Build窗口查看日志以排查问题。
小王老师呀
7299 1
武子康
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
武子康
615 0
弘锐66
|
分布式计算 大数据 Scala
Spark学习[一] Spark IntelliJ IDEA 开发环境搭建（Scala项目）- Hello World
Spark IntelliJ IDEA 开发环境搭建
弘锐66
15152 0
程序员熊建锟
|
人工智能 分布式计算 大数据
大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
本文探讨了大数据场景下降维的核心问题与解决方案，重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例，揭示高维空间中样本稀疏性问题，并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用，包括数据准备、核心实现与效果评估，同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外，还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应，为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则，展望未来发展方向。
程序员熊建锟
905 0

大数据与机器学习

热门文章

最新文章

  • 1
    流计算StreamCompute
  • 2
    如何使用Kafka Connect实现同步RDS binlog数据
  • 3
    史上超强阵容！大数据及人工智能领域顶级盛会，Flink Forward Asia 2019 不容错过！
  • 4
    Flink SQL 功能解密系列 —— 数据去重的技巧和思考
  • 5
    深度学习在锦囊细选上的应用
  • 6
    阿里云机器学习平台PAI，助力降低机器学习的成本和技术门槛
  • 7
    基于DataIDE数据集成实现香港ECS上的MySQL数据同步到数加MaxCompute
  • 8
    DataV企业版免费试用来啦！
  • 9
    云上基于Kerberos的大数据安全实践
  • 10
    21分钟教会你分析MaxCompute账单
  • 1
    园区业态调整后计量层级树迁移实践
    20
  • 2
    装完子智能体插件却找不到工具：先分清「包在不在」和「这一层选没选」
    28
  • 3
    胜利与失败者效应的天然对偶——浙大六次胜利定律的局部正确·游戏以确定性展开必然成功
    39
  • 4
    DSH 的 Bash 沙箱：read-only 不等于断网，workspace-write 也不等于全隔离
    29
  • 5
    DSH 在 CI 中执行单次任务：stdout 只有一段文本，判断成败要看退出码
    28
  • 6
    Rotifer v0.1：CLI 框架与 Rust 核心
    25
  • 7
    DSH 接 OpenAI 兼容端点：协议选错、凭据来源，以及七种都叫「模型不能用」的失败
    38
  • 8
    单证录入工作流实务：字段抽取、核对与退回三步法
    32
  • 9
    表计在线率虚高：遗嘱消息与保留消息治理
    36
  • 10
    DSH 部署在反向代理后：公开地址、可信主机，以及始终绕不过的 403
    47

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • Scala核心编程 - 进阶
  • 大数据实时计算框架Spark快速入门
  • 项目管理工具Maven学习

    • 相关电子书

    更多
  • Just Enough Scala for Spark
  • 蚂蚁金服高级开发工程师萧恺：IDEA 插件开发入门教程
  • JDK8新特性与生产-for“华东地区scala爱好者聚会”

    • 推荐镜像

    更多
  • maven
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！