• Scala开发环境选型:Sublime+sbt+Ensime

    Scala IDE和Eclipse长得差不多,亲切度较高,且加上Maven for Scala插件之后,可以直接创建Scala的maven项目。我下载来的3.0+版本的scala IDE可以直接创建scala maven项目,并且会生成如下项目结构。但是Scala IDE不...
    文章 2013-11-20 2973浏览量
  • Spark SQL 笔记

    scala在eclipse中的实现 import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext object DataFrameOperation { def main(args:Array[String]):Unit={ ...
    文章 2017-10-24 1300浏览量
  • Scala-IDE Eclipse(Windows)中开发Spark应用程序,在...

    Scala IDE For EclipseSpark程序开发 利用spark-submit脚本提交到Spark集群当中运行 Windows开发环境说明 (1)Scala-IDE eclipse,版本号见下图 (2)JAVA版本号 JDK 1.7 (3)Scala 版本号 2.10.4 Spark集群运行环境...
    文章 2015-07-11 2801浏览量
  • 使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark...

    3、因我们平常,用习惯了eclipse,快捷键,设置为我们平常,eclipse的风格。完成 简单,带领,如何巧看spark源码?这里,为了避免一个不利的阅读, 放到D盘的根目录下, 设置行号 其他的源码,首先,Ctrl+Shift+R,...
    文章 2017-11-07 3344浏览量
  • emacs+ensime+sbt打造spark源码阅读环境

    Scala越来越流行,Spark也愈来愈红火,对spark的代码进行走读也成了一个很普遍的行为。不巧的是,当前java社区中很流行的ide如eclipse,netbeans对scala的支持都不算太好。在这种情况下不得不想到编辑器之神emacs,利用...
    文章 2016-09-16 3452浏览量
  • win10 spark+scala+eclipse+sbt 安装配置

    输入 sbt 然后输入eclipse 等待相关的依赖下载完,就可以在eclipse 看到依赖的jar了 7.5 最后将src bulid path 一下,就可以在scala代码里导入spark包了 8、如果想调用本地spark,在SparkConf或者在SparkSession设置...
    文章 2018-05-07 1589浏览量
  • Spark之wordcount程序(Java Scala)

    本地执行,是可以执行在eclipse中的main方法中,执行的 第一步:创建SparkConf对象,设置Spark应用的配置信息 使用setMaster()可以设置Spark应用程序要连接的Spark集群的master节点的url 但是如果设置为local则代表...
    文章 2016-09-22 8222浏览量
  • Spark 整合hive 实现数据的读取输出

    eclipse 或IntelJIDea 本次使用eclipse. 代码: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 import...
    文章 2017-11-04 1602浏览量
  • maven+sonar,gradle+sonar

    class,*/*.groovy,src/main/java/spark/*<sonar.exclusions>lt;properties>Note:sonar uses h2 as default database 2.maven CMD for sonar CMD:mvn sonar:sonar 3.Analyze maven project in sonar GUI ...
    文章 2015-06-25 1520浏览量
  • 基于Spark Mllib,SparkSQL的电影推荐系统

    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF) 创建入口对象 val conf=new SparkConf().setMaster(args(0)).setAppName("Collaborative Filtering") val sc=new SparkContext(conf) 评分训练总...
    文章 2015-05-27 1641浏览量
  • Hadoop MapReduce编程学习

    一直在搞spark,也没时间弄hadoop,不过Hadoop基本的编程我觉得我还是要会吧,看到一篇不错的文章,不过应该应用于hadoop2.0以前,因为代码中有 conf.set("mapred.job.tracker","192.168.1.2:9001");新框架中已改为 ...
    文章 2015-12-08 1080浏览量
  • 如何使用Spark ALS实现协同过滤

    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF) 加载数据 spark-shell启动成功之后,sc为内置变量,你可以通过它来加载测试数据: val data=sc.textFile("data/ml-1m/ratings.dat") 接下来解析...
    文章 2016-04-08 2937浏览量
  • IDEA构建Spark编程环境和用Scala实现PageRank算法

    以前在学习编写mapreduce时,由于没有shell,就是首先在eclipse里配置环境,利用eclipse的强大功能进行编写,调试,编译,最终打包到集群上运行,同样面对Spark的时候,虽然spark提供了强大的shell 脚本能力,但对于...
    文章 2016-08-09 1651浏览量
  • Scala入门到精通——第二十九节 Scala数据库编程

    scala IDE for eclipse 中创建scala Maven项目的方式如下: 在Eclispe 中点击”File->new->other”,如下图 输入Maven可以看到Maven Project: 直接next,得到 再点击next,在filter中输入scala得到: 选中,...
    文章 2015-08-17 3407浏览量
  • Eclipse的下载、安装和WordCount的初步使用(本地模式...

    Eclipse的下载 Eclipse的安装 Eclipse的使用 本地模式或集群模式 Scala IDE for Eclipse的下载、安装和WordCount的初步使用(本地模式和集群模式) IntelliJ IDEA的下载、安装和WordCount的初步使用(本地模式和集群...
    文章 2017-11-14 1358浏览量
  • Spark MLlib协同过滤算法

    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF) if(args.length!2){ println("Usage:/path/to/spark/bin/spark-submit-driver-memory 2g-class week7.MovieLensALS"+ week7.jar ...
    文章 2017-11-21 1291浏览量
  • 附录C Jetty与JettyUtils

    注:本文是为了配合《Spark内核设计的艺术 架构设计与实现》一书的内容而编写,目的是为了节省成本、方便读者查阅。书中附录C的内容都在本文呈现。Jetty简介 Jetty是一个开源的,以Java作为开发语言的servlet容器。...
    文章 2018-02-04 963浏览量
  • Spark On YARN内存分配

    本文主要了解Spark On YARN部署模式下的内存分配情况,因为没有深入研究Spark的源代码,所以只能根据日志去看相关的源代码,从而了解“为什么会这样,为什么会那样”。说明 按照Spark应用程序中的driver分布方式不同...
    文章 2016-04-08 6390浏览量
  • spark-submit提交Spark Streamming+Kafka程序

    Spark Streaming本身是没有Kafka相关的jar包和API的,如果想利用Spark Streaming获取Kafka里的数据,需要自己将依赖添加SBT或Maven项目中,添加依赖更新项目之后,就可以在Eclipse等IDE里直接运行Spark Streamming+...
    文章 2018-06-28 831浏览量
  • IntelliJ IDEA(Community版本)的下载、安装和...

    而我们知道,对于spark的scala开发啊,有为其专门设计的eclipse,Scala IDE for Eclipse Scala IDE for Eclipse的下载、安装和WordCount的初步使用(本地模式和集群模式) 这里,我们知道,spark的开发可以通过...
    文章 2017-11-14 1948浏览量
  • spark2.1源码调试

    spark的源码使用了两种构建工具。maven和sbt。很多人都推荐使用idea+sbt来导入spark的源码。我自己用idea+sbt试了一下。给sbt添加镜像源了,还是没有导入成功。也许是我对sbt不够了解吧。我感觉国内对sbt支持的不好...
    文章 2017-06-23 1681浏览量
  • IntelliJ IDEA(Community版本)的下载、安装和...

    而我们知道,对于spark的scala开发啊,有为其专门设计的eclipse,Scala IDE for Eclipse Scala IDE for Eclipse的下载、安装和WordCount的初步使用(本地模式和集群模式) 这里,我们知道,spark的开发可以通过...
    文章 2017-11-14 2022浏览量
  • Spark(七)-Scala快速入门

    Scala作为Spark的开发语言,想要成为Spark高手,精通Scala是必须要走的一条路 然后一门语言并不是你想精通就能够精通的,更何况是Scala这种面向对象又面向函数的编程语言,个人觉得其学习的门槛会比C#,Java...
    文章 2015-05-18 1166浏览量
  • spark-submit报错:Exception in thread"main"java.sql...

    最近写了一个用spark连接oracle,然后将mysql所有的表保存到hive中的程序,在本地eclipse里运行没有问题,想在集群上跑一下,看看在集群上性能如何,但是用spark-submit 提交程序时抛出一个异常Exception in thread...
    文章 2018-05-09 1258浏览量
  • Spark入门实战系列-8.Spark MLlib(下)-机器学习库...

    【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送-Spark入门实战系列》获取 1、MLlib实例 1.1 聚类实例 1.1.1 算法说明 聚类(Cluster analysis)有时也被翻译为簇类,其核心任务是:将一组目标...
    文章 2017-11-16 1258浏览量
  • Spark入门实战系列-8.Spark MLlib(下)-机器学习库...

    【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送-Spark入门实战系列》获取 1、MLlib实例 1.1 聚类实例 1.1.1 算法说明 聚类(Cluster analysis)有时也被翻译为簇类,其核心任务是:将一组目标...
    文章 2017-11-09 1163浏览量
  • Spark(八)-使用Intellij Idea搭建Spark开发环境

    Idea中的Project相当于Eclipse中的一个WorkSpace,里面的Module相当于Project 新建一个First的Module 在src目下新新建main和scala目录,并设置为Sources类型 点击左侧的Liberaries,点击+进行添加spark的jar包 只要...
    文章 2015-05-24 1239浏览量
  • Scala IDE for Eclipse的下载、安装和WordCount的初步...

    而我们知道,对于spark的scala开发啊,有为其专门设计的eclipse,Scala IDE for Eclipse。1、Scala IDE for Eclipse的下载 http://scala-ide.org/ 2、Scala IDE for Eclipse的安装 进行解压 3、Scala IDE for ...
    文章 2017-11-14 1544浏览量
  • Apache Spark技术实战(一)Standalone部署模式下的...

    spark+随机数目录 分别用于driver本身,driver创建的tmp目录,httpfileserver创建的目录: spark-local目录 用以存放executor执行过程中生成的shuffle output和cache的内容。运行中的临时文件 Executor在运行的时候...
    文章 2016-09-12 6457浏览量
  • Spark核心技术与高级应用》——3.2节构建Spark的...

    3.2.2 构建SparkEclipse开发环境使用Eclipse进行Spark开发,需要安装Scala和Python插件,安装步骤如下:1)安装Eclipse,在官网下载Eclipse,解压缩到本地后直接使用即可。2)安装Scala插件,打开Eclipse,依次...
    文章 2017-05-02 1437浏览量
1 2 3 4 5 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化