AI 助理
文档备案控制台
开发者社区 大数据与机器学习 文章 正文

spark 与 scala 的对应版本查看、在idea中maven版本不要选择17，弄了好久，换成11就可以啦

2024-02-24 868
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： spark 与 scala 的对应版本查看、.在idea中maven版本不要选择17，弄了好久，换成11就可以啦

1 ，思路 ：

去 maven 查看


2 ，网址 ：

https://mvnrepository.com/artifact/org.apache.spark/spark-core


3 ，看到 ：

image.png


4 ，总结 ：

1 ，spark3.0 以后，不再支持 scala2.11

2 ，spark3.0 以后，只能用 scala2.12

3.在idea中maven版本不要选择17，弄了好久，换成11就可以啦



文章标签：
分布式计算
Spark
Scala
Java
Maven
关键词：
Idea版本
Idea maven
Maven版本
版本Idea
apache spark Scala
孙玉洁-47170
目录
相关文章
好奇的菜鸟
|
Linux Scala 开发者
Scala 多版本下载指南
Scala 多版本下载指南
好奇的菜鸟
1482 1
小竹笋
|
分布式计算 资源调度 Java
Scala+Spark+Hadoop+IDEA实现WordCount单词计数，上传并执行任务（简单实例-下）
Scala+Spark+Hadoop+IDEA实现WordCount单词计数，上传并执行任务（简单实例-下）
小竹笋
231 0
小竹笋
|
分布式计算 Hadoop Scala
Scala +Spark+Hadoop+Zookeeper+IDEA实现WordCount单词计数（简单实例-上）
Scala +Spark+Hadoop+Zookeeper+IDEA实现WordCount单词计数（简单实例-上）
小竹笋
266 0
小竹笋
|
Java Scala Maven
Intellij IDEA+Maven+Scala第一个程序
Intellij IDEA+Maven+Scala第一个程序
小竹笋
407 0
kng32f3vbngrm
|
SQL 分布式计算 Java
IDEA 打包 Spark 项目 POM 文件依赖
这是一个 Maven POM 示例，用于构建一个使用 Spark 与 Hive 的项目，目标是将数据从 Hive 导入 ClickHouse。POM 文件设置了 Scala 和 Spark 的依赖，包括 `spark-core_2.12`, `spark-sql_2.12`, 和 `spark-hive_2.12`。`maven-assembly-plugin` 插件用于打包，生成包含依赖的和不含依赖的两种 JAR 包。`scope` 说明了依赖的使用范围，如 `compile`（默认），`provided`，`runtime`，`test` 和 `system`。
kng32f3vbngrm
556 0
所在jason
spark支持2.4.3版本
信息摘要： 该版本主要发布spark-connectors 1.0.4版本，升级spark内核到社区最新稳定版本2.4.3适用客户： 企业客户/个人开发者版本/规格功能： 该版本主要发布spark-connectors 1.
所在jason
1022 0
大熊计算机
|
9月前
|
人工智能 分布式计算 大数据
大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
本文探讨了大数据场景下降维的核心问题与解决方案，重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例，揭示高维空间中样本稀疏性问题，并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用，包括数据准备、核心实现与效果评估，同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外，还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应，为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则，展望未来发展方向。
大熊计算机
461 0
郑小健
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成：Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代，能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统，ClickHouse 在大数据分析领域展现出了卓越的能力。然而，为了充分利用ClickHouse的优势，将其与现有的大数据处理框架（如Apache Spark和Apache Flink）进行集成变得尤为重要。本文将从我个人的角度出发，探讨如何通过这些技术的结合，实现对大规模数据的实时处理和分析。
郑小健
1104 2
ClickHouse与大数据生态集成：Spark & Flink 实战
Echo_Wish
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
607 79
武子康
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
武子康
342 0

大数据与机器学习

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类
  • 3
    odps是什么?
  • 4
    ajax请求总是不成功？浏览器的同源策略和跨域问题详解
  • 5
    【技术实验】mysql准实时同步数据到Elasticsearch
  • 6
    数据仓库介绍与实时数仓案例
  • 7
    分布式快照算法: Chandy-Lamport
  • 8
    DataV接入ECharts图表库 可视化利器强强联手
  • 9
    MaxCompute执行作业慢的原因排查
  • 10
    阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能
  • 1
    office卸载工具教程!微软官方office卸载工具，怎么解决office卸载不干净怎么弄？Office2021家庭和学生版卸载不干净怎么办？
    12
  • 2
    别再只会调API了：一篇把 BERT 玩明白的实战指南（含调优心法）
    40
  • 3
    别再被 SaaS“温柔绑架”了：一份接地气的自建数据平台迁移路线图（附避坑指南）
    31
  • 4
    基于云边协同的电线电缆押出机智能调机解决方案设计与落地
    62
  • 5
    从一次桌面整理说起，聊聊协同自动化工具1949里的那些看不见的代码逻辑
    57
  • 6
    两节锂电池保护芯片IC，PW7120在电路设计中的应用
    31
  • 7
    淘宝宝贝券后价获取指南
    33
  • 8
    三年前写脚本折腾一宿的活，现在用1949ai操作十分钟就配完了
    61
  • 9
    把重复作业交给机器后，才明白1949ai聊的协同自动化工具到底省了多少无用功
    66
  • 10
    深夜折腾文件同步那点事儿，从手动拖拽到桌面自动化，顺便聊聊1949AI文档里藏的细节
    46

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • Scala核心编程 - 进阶
  • 大数据实时计算框架Spark快速入门
  • 项目管理工具Maven学习

    • 相关电子书

    更多
  • Just Enough Scala for Spark
  • 蚂蚁金服高级开发工程师萧恺：IDEA 插件开发入门教程
  • JDK8新特性与生产-for“华东地区scala爱好者聚会”

    • 推荐镜像

    更多
  • maven
    • 下一篇
    5月安全新品播课（1）|混合云下割裂的Web安全管理挑战如何破？