spark开发环境详细教程2:window下sbt库的设置

简介: spark开发环境详细教程2:window下sbt库的设置

sbt在IntelliJ IDEA里面大多情况下还是比较慢的,有两种解决办法:

1.提前下载放到缓存库里

2.更改库为阿里源


1.提前下载放到缓存库里



sbt安装后会在用户路径下看到两个文件夹。.ivy2、.sbt


3c9168ded227d77eef062f48c6a7f502.jpg


下载的库,可以放到


C:\Users\aboutyun\.ivy2\cache里面


697274db133516dd30830a012fe26bef.jpg


2.更改库


有的时候我们下载的非常慢,另外一种方法更改库。Linux下是在~/.sbt下修改。

window下C:\Users\aboutyun\.sbt修改repositories

2602c10a9fd0ce5bd9b876b039ce09e3.jpg

库内容

[repositories]
  local
  Nexus aliyun : http://maven.aliyun.com/nexus/content/groups/public/
  Nexus osc : http://maven.oschina.net/content/groups/public/
   Nexus osc thirdparty : http://maven.oschina.net/content/repositories/thirdparty/
  maven-central
  typesafe-ivy-releases: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
  sbt-ivy-snapshots: https://repo.scala-sbt.org/scalasbt/ivy-snapshots/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
[boot]
  directory: ${sbt.boot.directory-${sbt.global.base-${user.home}/.sbt}/boot/}
[ivy]
  ivy-home: ${sbt.ivy.home-${user.home}/.ivy2/}
  checksums: ${sbt.checksums-sha1,md5}
  override-build-repos: ${sbt.override.build.repos-false}
  repository-config: ${sbt.repository.config-${sbt.global.base-${user.home}/.sbt}/repositories}



参考

windows+idea+sbt 如何使用国内的镜像

http://www.aboutyun.com/forum.php?mod=viewthread&tid=22376


目录
相关文章
|
6月前
|
SQL 分布式计算 Spark
Spark 教程系列
Spark 教程系列
61 0
|
4月前
|
分布式计算 Java Serverless
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
本文以 ECS 连接 EMR Serverless Spark 为例,介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。
394 7
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
|
4月前
|
分布式计算 运维 Serverless
EMR Serverless Spark 实践教程 | 通过 EMR Serverless Spark 提交 PySpark 流任务
在大数据快速发展的时代,流式处理技术对于实时数据分析至关重要。EMR Serverless Spark提供了一个强大而可扩展的平台,它不仅简化了实时数据处理流程,还免去了服务器管理的烦恼,提升了效率。本文将指导您使用EMR Serverless Spark提交PySpark流式任务,展示其在流处理方面的易用性和可运维性。
269 7
EMR Serverless Spark 实践教程 | 通过 EMR Serverless Spark 提交 PySpark 流任务
|
3月前
|
分布式计算 Serverless 数据处理
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具,它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务,以实现任务调度和执行的自动化,帮助您更有效地管理数据处理任务。
201 0
|
3月前
|
分布式计算 Java Linux
【Deepin 20系统】Linux 系统安装Spark教程及使用
在Deepin 20系统上安装和使用Apache Spark的详细教程,包括安装Java JDK、下载和解压Spark安装包、配置环境变量和Spark配置文件、启动和关闭Spark集群的步骤,以及使用Spark Shell和PySpark进行简单操作的示例。
65 0
|
5月前
|
分布式计算 Hadoop Scala
搭建 Spark 的开发环境
搭建 Spark 的开发环境
44 0
|
6月前
|
分布式计算 Java Scala
Spark开发环境的搭建(二)
Spark开发环境的搭建(二)
33 0
|
6月前
|
分布式计算 Java Scala
Spark开发环境的搭建(一)
Spark开发环境的搭建(一)
40 0
|
6月前
|
SQL 分布式计算 Hadoop
【Spark】Spark基础教程知识点
【Spark】Spark基础教程知识点
|
6月前
|
分布式计算 算法 数据挖掘
Spark中的图计算库GraphX是什么?请解释其作用和常用操作。
Spark中的图计算库GraphX是什么?请解释其作用和常用操作。
85 1