• Scala开发环境选型:Sublime+sbt+Ensime

    Scala IDE和Eclipse长得差不多,亲切度较高,且加上Maven for Scala插件之后,可以直接创建Scala的maven项目。我下载来的3.0+版本的scala IDE可以直接创建scala maven项目,并且会生成如下项目结构。但是Scala IDE不...
    文章 2013-11-20 2780浏览量
  • Spark SQL 笔记

    scala在eclipse中的实现 import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext object DataFrameOperation { def main(args:Array[String]):Unit={ ...
    文章 2017-10-24 1193浏览量
  • Scala-IDE Eclipse(Windows)中开发Spark应用程序,在...

    Scala IDE For EclipseSpark程序开发 利用spark-submit脚本提交到Spark集群当中运行 Windows开发环境说明 (1)Scala-IDE eclipse,版本号见下图 (2)JAVA版本号 JDK 1.7 (3)Scala 版本号 2.10.4 Spark集群运行环境...
    文章 2015-07-11 2558浏览量
  • emacs+ensime+sbt打造spark源码阅读环境

    Scala越来越流行,Spark也愈来愈红火,对spark的代码进行走读也成了一个很普遍的行为。不巧的是,当前java社区中很流行的ide如eclipse,netbeans对scala的支持都不算太好。在这种情况下不得不想到编辑器之神emacs,利用...
    文章 2016-09-16 3209浏览量
  • win10 spark+scala+eclipse+sbt 安装配置

    输入 sbt 然后输入eclipse 等待相关的依赖下载完,就可以在eclipse 看到依赖的jar了 7.5 最后将src bulid path 一下,就可以在scala代码里导入spark包了 8、如果想调用本地spark,在SparkConf或者在SparkSession设置...
    文章 2018-05-07 1418浏览量
  • Spark之wordcount程序(Java Scala)

    本地执行,是可以执行在eclipse中的main方法中,执行的 第一步:创建SparkConf对象,设置Spark应用的配置信息 使用setMaster()可以设置Spark应用程序要连接的Spark集群的master节点的url 但是如果设置为local则代表...
    文章 2016-09-22 7999浏览量
  • maven+sonar,gradle+sonar

    class,*/*.groovy,src/main/java/spark/*<sonar.exclusions>lt;properties>Note:sonar uses h2 as default database 2.maven CMD for sonar CMD:mvn sonar:sonar 3.Analyze maven project in sonar GUI ...
    文章 2015-06-25 1405浏览量
  • 如何使用Spark ALS实现协同过滤

    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF) 加载数据 spark-shell启动成功之后,sc为内置变量,你可以通过它来加载测试数据: val data=sc.textFile("data/ml-1m/ratings.dat") 接下来解析...
    文章 2016-04-08 2713浏览量
  • IDEA构建Spark编程环境和用Scala实现PageRank算法

    以前在学习编写mapreduce时,由于没有shell,就是首先在eclipse里配置环境,利用eclipse的强大功能进行编写,调试,编译,最终打包到集群上运行,同样面对Spark的时候,虽然spark提供了强大的shell 脚本能力,但对于...
    文章 2016-08-09 1306浏览量
  • Scala入门到精通——第二十九节 Scala数据库编程

    scala IDE for eclipse 中创建scala Maven项目的方式如下: 在Eclispe 中点击”File->new->other”,如下图 输入Maven可以看到Maven Project: 直接next,得到 再点击next,在filter中输入scala得到: 选中,...
    文章 2015-08-17 3244浏览量
  • Spark On YARN内存分配

    本文主要了解Spark On YARN部署模式下的内存分配情况,因为没有深入研究Spark的源代码,所以只能根据日志去看相关的源代码,从而了解“为什么会这样,为什么会那样”。说明 按照Spark应用程序中的driver分布方式不同...
    文章 2016-04-08 5995浏览量
  • spark-submit提交Spark Streamming+Kafka程序

    Spark Streaming本身是没有Kafka相关的jar包和API的,如果想利用Spark Streaming获取Kafka里的数据,需要自己将依赖添加SBT或Maven项目中,添加依赖更新项目之后,就可以在Eclipse等IDE里直接运行Spark Streamming+...
    文章 2018-06-28 747浏览量
  • spark2.1源码调试

    spark的源码使用了两种构建工具。maven和sbt。很多人都推荐使用idea+sbt来导入spark的源码。我自己用idea+sbt试了一下。给sbt添加镜像源了,还是没有导入成功。也许是我对sbt不够了解吧。我感觉国内对sbt支持的不好...
    文章 2017-06-23 1506浏览量
  • Spark(七)-Scala快速入门

    Scala作为Spark的开发语言,想要成为Spark高手,精通Scala是必须要走的一条路 然后一门语言并不是你想精通就能够精通的,更何况是Scala这种面向对象又面向函数的编程语言,个人觉得其学习的门槛会比C#,Java...
    文章 2015-05-18 1006浏览量
  • spark-submit报错:Exception in thread"main"java.sql...

    最近写了一个用spark连接oracle,然后将mysql所有的表保存到hive中的程序,在本地eclipse里运行没有问题,想在集群上跑一下,看看在集群上性能如何,但是用spark-submit 提交程序时抛出一个异常Exception in thread...
    文章 2018-05-09 987浏览量
  • Apache Spark技术实战(一)Standalone部署模式下的...

    spark+随机数目录 分别用于driver本身,driver创建的tmp目录,httpfileserver创建的目录: spark-local目录 用以存放executor执行过程中生成的shuffle output和cache的内容。运行中的临时文件 Executor在运行的时候...
    文章 2016-09-12 6017浏览量
  • Spark核心技术与高级应用》——3.2节构建Spark的...

    3.2.2 构建SparkEclipse开发环境使用Eclipse进行Spark开发,需要安装Scala和Python插件,安装步骤如下:1)安装Eclipse,在官网下载Eclipse,解压缩到本地后直接使用即可。2)安装Scala插件,打开Eclipse,依次...
    文章 2017-05-02 1184浏览量
  • spark 之 Scala 环境搭建,开发工具使用

    继续使用eclipse。如果是IDEA直接使用插件就行了。http://scala-ide.org/download/current.html 安装url: http://download.scala-ide.org/sdk/helium/e38/scala210/stable/site 3,创建工程 scala 学习非常简单 ...
    文章 2014-03-16 1060浏览量
  • spark在idea中本地如何运行?(处理问题...

    前几天尝试使用idea在本地运行spark+scala的程序,出现了问题,http://www.cnblogs.com/yjf512/p/7662105.html 当时还以为是本地spark安装问题,今天发现原来不是。记录如下: 现象 使用pom写了一个程序,发现出现...
    文章 2018-01-07 1951浏览量
  • Spark MLlib聚类KMeans

    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF) 设置运行环境 val conf=new SparkConf().setAppName("Kmeans").setMaster("local[4]") val sc=new SparkContext(conf) 装载数据集 val data=sc....
    文章 2017-11-20 1093浏览量
  • Spark UI(基于Yarn)分析与定制

    有时候我们希望能对Spark UI进行一些定制化增强。并且我们希望尽可能不更改Spark的源码。为了达到此目标,我们会从如下三个方面进行阐述: 理解Spark UI的处理流程 现有Executors页面分析 自己编写一个HelloWord页面...
    文章 2016-09-08 2400浏览量
  • 基于开源 Openfire 聊天服务器-开发Openfire聊天记录...

    IDE:eclipse、MyEclipse 6.5 开发依赖库: Jdk1.6、jasper-compiler.jar、jasper-runtime.jar、openfire.jar、servlet.jar Email:hoojo_@126.com Blog:http://blog.csdn.net/IBM_hoojo http://hoojo.cnblogs.com/...
    文章 2017-11-22 1672浏览量
  • 基于开源 Openfire 聊天服务器-开发Openfire聊天记录...

    IDE:eclipse、MyEclipse 6.5 开发依赖库: Jdk1.6、jasper-compiler.jar、jasper-runtime.jar、openfire.jar、servlet.jar Email:hoojo_@126.com Blog:http://blog.csdn.net/IBM_hoojo http://hoojo.cnblogs.com/...
    文章 2017-11-15 1389浏览量
  • Spark SQL实战

    19 Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF) 20 21/设置应用程序 22 val conf=new SparkConf().setAppName("On Line Trade Data").setMaster("local") 23 val ctx=new SparkContext(conf)...
    文章 2017-06-15 708浏览量
  • Python 开发者如何正确使用 RStudio 编辑器

    资深Python工程师可以选择的编辑器有很多,比如 Rodeo,Spider,Eclipse,Vim,Visual Studio,Atom,Sublime Text,Jupyter等等,但是现在为什么现在很多资深的 Pythoner 都开始拥抱 RStudio 呢?要回答这个问题,...
    文章 2017-08-01 1362浏览量
  • Python 开发者如何正确使用 RStudio 编辑器

    资深Python工程师可以选择的编辑器有很多,比如 Rodeo,Spider,Eclipse,Vim,Visual Studio,Atom,Sublime Text,Jupyter等等,但是现在为什么现在很多资深的 Pythoner 都开始拥抱 RStudio 呢?要回答这个问题,...
    文章 2017-08-16 1319浏览量
  • Spark MLlib回归算法LinearRegression

    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF) 设置运行环境 val conf=new SparkConf().setAppName("Kmeans").setMaster("local[4]") val sc=new SparkContext(conf) Load and parse the data ...
    文章 2017-11-19 1190浏览量
  • 深入理解Spark:核心思想与源码分析

    为了降低读者阅读理解Spark源码的门槛,本书尽可能保留源码实现,希望读者能够怀着一颗好奇的心,Spark当前很火热,其版本更新也很快,本书以Spark 1.2.3版本为主,有兴趣的读者也可按照本书的方式,阅读Spark的最新...
    文章 2017-05-02 4190浏览量
  • Spark通过修改DataFrame的schema给表字段添加注释

    若不清楚Spark如何连接hive,可以参考:spark连接hive(spark-shell和eclipse两种方式) 首先看一下df.printSchema里并没有注释信息 sql("use test") val df=spark.table("test") df.printSchema root id:string...
    文章 2018-09-03 1371浏览量
  • spark连接hive(spark-shell和eclipse两种方式)

    2、win10+eclipse上连接hive 2.1 将hive-site.xml拷贝到项目中的resources文件夹下 2.2 在sbt里添加对应版本的mysql依赖 mysql"%"mysql-connector-java"%"5.1.46 2.3 代码 2.3.1 旧版api(1.6以上) package ...
    文章 2018-05-09 1923浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化