Spark常见问题解决办法
以下是在学习和使用spark过程中遇到的一些问题,记录下来。
1、首先来说说spark任务运行完后查错最常用的一个命令,那就是把任务运行日志down下来。
本地windows跑Scala程序调用Spark
应用场景
spark是用scala写的一种极其强悍的计算工具,spark内存计算,提供了图计算,流式计算,机器学习,即时查询等十分方便的工具,所以利用scala来进行spark编程是十分必要的,下面简单书写一个spark连接mysql读取信息的例子。
hive 报system:java.io.tmpdir错误解决
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.
分布式数据库的存储设计改进
这篇文章基于分析了hadoop中hdfs和目前分布式数据库的优缺点,采众家之长,对目前的分布式数据库的存储进行了分析和改进,为基于分布式数据库的分布式sql计算能够更好的利用hadoop生态圈中的mapreduce,spark等分布式计算模型打下良好的基础.