AI 助理
备案控制台
开发者社区 大数据 文章 正文

flare-spork: 自己维护的Pig on Spark项目

2014-04-29 1265
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

关于flare-spork

很早以前有个 Pig Spork分支，尝试把Pig迁移到Spark上，但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。

flare-spork是基于Spork对Pig和Spark的衔接，把Spark部分的代码迁移到了Pig 0.12.0上，并且升级了依赖和版本，升级为Scala 2.10.3，Spark 0.9.1，且兼容Hadoop 2.2.0。

目前项目在Github上， 地址。打算参考Spork已经做的一些东西，继续Pig on Spark的开发。

Github上的内容已经是merge进Pig 0.12.0的Spork版本了，可以编译和运行。更多细节的内容可以参考里面的 README。有介绍如何编译，有什么改变，能跑什么样的简单demo。


文章标签：
分布式计算
Spark
Hadoop
Scala
关键词：
apache spark项目
张包峰
目录
相关文章
孜倦与shine
|
6月前
|
分布式计算 数据可视化 大数据
基于spark的医疗大数据可视化大屏项目
基于spark的医疗大数据可视化大屏项目
孜倦与shine
144 0
kng32f3vbngrm
|
7月前
|
SQL 分布式计算 Java
IDEA 打包 Spark 项目 POM 文件依赖
这是一个 Maven POM 示例，用于构建一个使用 Spark 与 Hive 的项目，目标是将数据从 Hive 导入 ClickHouse。POM 文件设置了 Scala 和 Spark 的依赖，包括 `spark-core_2.12`, `spark-sql_2.12`, 和 `spark-hive_2.12`。`maven-assembly-plugin` 插件用于打包，生成包含依赖的和不含依赖的两种 JAR 包。`scope` 说明了依赖的使用范围，如 `compile`（默认），`provided`，`runtime`，`test` 和 `system`。
kng32f3vbngrm
112 0
孙玉洁-47170
|
7月前
|
消息中间件 关系型数据库 MySQL
Spark实时（数据采集）项目
Spark实时（数据采集）项目
孙玉洁-47170
160 2
孙玉洁-47170
|
7月前
|
数据采集 分布式计算 Linux
Spark实时（数据采集）项目小知识点--sed -i命令详解及入门攻略
Spark实时（数据采集）项目小知识点--sed -i命令详解及入门攻略
孙玉洁-47170
182 0
热烈的马
|
7月前
|
机器学习/深度学习 分布式计算 大数据
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
热烈的马
112 0
是Yu欸
|
分布式计算 Java Scala
配置spark，并在idea中搭建项目
配置spark，并在idea中搭建项目
是Yu欸
144 0
-开发达人-
|
机器学习/深度学习 人工智能 分布式计算
SparK项目原作解读：卷积模型的首个BERT预训练
SparK项目原作解读：卷积模型的首个BERT预训练
-开发达人-
316 0
训练营小助手
|
设计模式 分布式计算 Scala
Spark Master 和 Worker 项目需求 | 学习笔记
快速学习 Spark Master 和 Worker 项目需求
训练营小助手
101 0
Spark Master 和 Worker 项目需求 | 学习笔记
邵奈一2018
|
机器学习/深度学习 分布式计算 算法
Spark项目实战：飞机延误预测项目
Spark项目实战：飞机延误预测项目
邵奈一2018
556 0
Spark项目实战：飞机延误预测项目
pushytao
|
分布式计算 Java Hadoop
Spark集群搭建记录 | 云计算[CentOS8] | Scala Maven项目访问Spark(local模式)实现单词计数（下）
step6 创建scala object step7 修改pom文件 step8 配置项目 step9 添加依赖库（Spark的jar包） step10 设置输入路径
pushytao
167 0
Spark集群搭建记录 | 云计算[CentOS8] | Scala Maven项目访问Spark(local模式)实现单词计数（下）

热门文章

最新文章

  • 1
    [Spark][Python]Spark Python 索引页
  • 2
    Spark Master启动源码分析
  • 3
    Spark-spark streaming
  • 4
    Spark PruneDependency 依赖关系 RangePartitioner
  • 5
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 6
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 7
    Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
  • 8
    Spark本地环境搭建（local模式）
  • 9
    利用闪存优化在Cosco基础上的Spark Shuffle
  • 10
    【Flink】Flink跟Spark Streaming的区别？
  • 1
    spark用于分析数据并将数据保存到数据库中是
    74
  • 2
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    95
  • 3
    如何解决Spark在深度学习中的资源消耗问题？
    91
  • 4
    Spark在深度学习中的优缺点是什么？
    255
  • 5
    使用Spark进行机器学习
    79
  • 6
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    140
  • 7
    【Spark】Spark基础教程知识点
    90
  • 8
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    174
  • 9
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    146
  • 10
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    80

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月