直播间直达链接：（回看链接）
时间
7月31日19:00
主讲人：
辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作
简介：
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。 
7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】
2019-07-29
1154
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
相关文章
|
1月前
|
存储
SQL
监控
计算效率提升 10 倍，存储成本降低 60%，灵犀科技基于 Apache Doris 建设统一数据服务平台
灵犀科技早期基于 Hadoop 构建大数据平台，在战略调整和需求的持续扩增下，数据处理效率、查询性能、资源成本问题随之出现。为此，引入 [Apache Doris](https://doris.apache.org/) 替换了复杂技术栈，升级为集存储、加工、服务为一体的统一架构，实现存储成本下降 60%，计算效率提升超 10 倍的显著成效。
64
0
0
|
4月前
|
分布式计算
大数据
Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
121
1
1
|
6月前
|
存储
消息中间件
运维
招联金融基于 Apache Doris 数仓升级：单集群 QPS 超 10w，存储成本降低 70%
招联内部已有 40+ 个项目使用 Apache Doris ，拥有超百台集群节点，个别集群峰值 QPS 可达 10w+ 。通过应用 Doris ，招联金融在多场景中均有显著的收益，比如标签关联计算效率相较之前有 6 倍的提升，同等规模数据存储成本节省超 2/3，真正实现了降本提效。
192
11
11
|
7月前
|
SQL
存储
关系型数据库
计算效率提升 30 倍、存储资源节省 90%，雨润集团基于 Apache Doris 的统一实时数据仓库建设实践
数字化转型的浪潮中，高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库，实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提升 3 倍，为智能化、高效化转型指明了方向。
123
1
1
|
7月前
|
分布式计算
大数据
Spark
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理：技术、应用与性能优化》深入浅出介绍Spark核心，涵盖部署、实战与性能调优，适合初学者。作者基于微软和IBM经验，解析Spark工作机制，探讨BDAS生态，提供实践案例，助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。
191
1
1
|
6月前
|
存储
运维
数据处理
|
6月前
|
分布式计算
Hadoop
大数据
大数据处理框架在零售业的应用：Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
107
0
0
|
6月前
|
分布式计算
Serverless
数据处理
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具，它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务，以实现任务调度和执行的自动化，帮助您更有效地管理数据处理任务。
266
0
0
|
7月前
|
分布式计算
Apache
Spark
|
2月前
|
存储
人工智能
大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰（莫问）在 Flink Forward Asia 2024 上海站主论坛开场的分享，今年正值 Flink 开源项目诞生的第 10 周年，借此时机，王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果，最后展望下一个十年 Flink 路向何方。
394
33
33
热门文章
最新文章
1
漫谈分布式计算框架
2
【译】用SQL统一所有：一种有效的、语法惯用的流和表管理方法
3
HAS-插件式Kerberos认证框架
4
开源大数据周刊-第61期
5
YARN中的CPU资源隔离-CGroups
6
E-MapReduce中Spark 2.x读写MaxCompute数据
7
Presto实现原理（转）
8
hive在E-MapReduce集群的实践（一）hive异常排查入门
9
使用Spark Streaming SQL基于时间窗口进行数据统计
10
[译]利用贝叶斯推理做硬件故障率的准实时预测
1
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
64
2
打造无缝社交体验：多平台适配，开启线上线下陪玩系统小程序社交新时代
53
3
阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
122
4
关于商品详情 API 接口 JSON 格式返回数据解析的示例
108
5
EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
61
6
年轻人如何运用圈子系统进行扩列，社交圈子论坛app扩列的好处，兴趣行业圈子提升社交技能
130
7
拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。
114
8
有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
103
9
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
629
10
【赵渝强老师】部署Hadoop的本地模式
93