欢迎大家关注Spark中国社区！
社区成员会定期把Spark（全球）社区的最新发布、文档等翻译后放到社区，并经常组织社区成员线上、线下的直播分享、meetup以及有奖比赛等活动，非常欢迎大家加入社区，对于发帖、提问、答疑的同学，社区会给予特色的奖励
Spark社群钉钉群
欢迎加入Spark中国社区
2018-11-09
8842
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
欢迎大家关注Spark中国社区！
社区成员会定期把Spark（全球）社区的最新发布、文档等翻译后放到社区，并经常组织社区成员线上、线下的直播分享、meetup以及有奖比赛等活动，非常欢迎大家加入社区，对于发帖、提问、答疑的同学，社区会给予特色的奖励
Spark社群钉钉群
目录
相关文章
|
SQL
存储
分布式计算
|
机器学习/深度学习
分布式计算
搜索推荐
从跨国投行到开源社区，IBM Spark总工程师Nick Pentreath的传奇经历
最近，随着 2016 机器学习行业应用国际峰会的举办，Pentreath 来到了北京。机器之心受邀对他进行了独家专访，我们一起聊了聊 Spark 的新版本、IBM 的开源精神、不同平台的竞争关系，以及他在高盛的传奇经历，其中不乏爆料和精彩的观点分享。让我们看看 Pentreath 是怎么说的。
123
0
0
|
分布式计算
大数据
Apache
|
分布式计算
数据可视化
IDE
5月21日 Spark 社区直播【Spark on Zeppelin】
Apache Zeppelin 是一个交互式的大数据开发Notebook，从一开始就是为Spark定制的。Zeppelin Notebook的开发环境与传统IDE开发环境相比有几大优势：不需要编译Jar，环境配置简单，交互式开发，数据结果可视化等等。
本次直播将会介绍Spark on Zeppelin的一些基本使用方式以及应用场景。
787
0
1
|
存储
机器学习/深度学习
分布式计算
10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】
介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。
4325
0
0
|
机器学习/深度学习
分布式计算
并行计算
10月15日社区直播【Intel MLlib：构建平台优化的Spark机器学习】
Intel MLlib是一个为Apache Spark MLlib优化的软件包。它在保持和Spark MLlib兼容的同时，在底层利用原生算法库来实现在CPU和GPU上的最优化算法，同时使用Collective Communication来实现效率更高的节点间通信。我们的初步结果表明，该软件包在最小化应用改动的基础上，可以极大地提升MLlib算法的性能。
2916
0
0
|
存储
SQL
分布式计算
9月10日 Spark 社区直播【利用持久内存提速Spark】
主要探讨如何在Spark上使用持久内存这一新技术来进一步提速性能。具体会介绍基于Plasma的共享内存方案来提速SQL数据源访问的性能以及利用持久内存扩展Spark现有内存磁盘存储层级来提速RDD cache在迭代式计算中的效果。
3260
0
0
|
SQL
存储
缓存
8月27日 Spark 社区直播【OAP Spark 优化介绍: 通过索引和缓存优化交互式查询性能】
简单介绍OAP的总体蓝图。同时详细介绍其中的一个具体优化，使用索引和缓存来解决交互式查询性能挑战。
1774
0
0
|
机器学习/深度学习
人工智能
分布式计算
7月23日社区直播【TFPark: Distributed TensorFlow in Production on Apache Spark】
TFPark是开源AI平台Analytics Zoo中一个模块，它的可以很方便让用户在Spark集群中分布式地进行TensorFlow模型的训练和推断。一方面，TFPark利用Spark将TensorFlow 定义的AI训练或推理任务无缝的嵌入到用户的大数据流水线中，而无需对现有集群做任何修改；另一方面TFPark屏蔽了复杂的分布式系统逻辑，可以将单机开发的AI应用轻松扩展到几十甚至上百节点上。本次分享将介绍TFPark的使用，内部实现以及在生产环境中的实际案例。
661
0
0
|
机器学习/深度学习
SQL
分布式计算
7月9日Spark社区直播【通过LLVM加速SparkSQL时间窗口计算】
为什么要优化spark时间窗口
- 未加速前面临问题
- 为什么要使用llvm加速而不是继续优化jvm codegen
- 实现介绍-llvm 版本sql引擎设计
- 如何与spark集成
- benchmark数据 vs spark3.0
892
0
0
热门文章
最新文章
1
JindoFS: 云上大数据的高性能数据湖存储方案
2
梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
3
JindoFS概述：云原生的大数据计算存储分离方案
4
基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
5
从数砖开源 Delta Lake 说起
6
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
7
hive在E-MapReduce集群的实践（二）集群hive参数优化
8
Apache Spark + Intel Analytics Zoo 进行深度学习
9
使用E-MapReduce服务将Kafka数据导入OSS
10
Apache Flink : Checkpoint 原理剖析与应用实践
1
云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写
68
2
阿里云 EMR Serverless Spark 版正式开启商业化
49
3
小红书 API 接口使用指南：笔记详情数据接口的接入与使用
39
4
阿里云 EMR StarRocks 在七猫的应用和实践
146
5
EMR Serverless StarRocks体验测评
40
6
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
157
7
不是吧？这么好用的开源标注工具，竟然还有人不知道…
74
8
迟来的EMR Serverless Spark评测报告
210
9
DataWorks操作报错合集之在处理元数据存储时发生报错：ODPS-0010000，该如何处理
97
10
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
369