AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

4月9日JindoFS系列直播【存储计算分离场景的计算适应优化】

2020-04-07 1189
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： 本次分享会介绍云上大数据处理的存储计算分离特征，分析传统大数据处理中数据本地化与存储计算分离场景的区别，以及在存储计算分离场景中阿里云EMR的相关优化。

主题：

存储计算分离场景的计算适应优化

时间：

2020.4.9（周四）19:00

参与方式：

扫描下方二维码加入钉钉群，群内直接观看

或点击直播间链接：

https://developer.aliyun.com/live/2592

讲师：王道远

花名健身，阿里云EMR技术专家，Apache Spark活跃贡献者，主要关注大数据计算优化相关工作。

直播简介：

本次分享会介绍云上大数据处理的存储计算分离特征，分析传统大数据处理中数据本地化与存储计算分离场景的区别，以及在存储计算分离场景中阿里云EMR的相关优化。
F6D13DA8-BDED-429A-A55D-29A2F2B1BDB4.png

文章标签：
开源大数据平台 E-MapReduce
分布式计算
Spark
Apache
存储
大数据
相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
阿里云E-MapReduce团队
目录
相关文章
李木子2024
|
17天前
|
存储 数据挖掘 大数据
深度解析Hologres计算资源配置：如何根据业务场景选择合适的计算类型？
【8月更文挑战第22天】Hologres是一款由阿里云提供的分布式分析型数据库，支持高效的大数据处理与分析。本文通过电商优化商品推荐策略的案例，介绍了Hologres中的计算组型与通用型配置。计算组型提供弹性扩展资源，适合大规模数据及高并发查询；通用型则适用于多数数据分析场景，具备良好计算性能。通过实例创建、数据加载、计算任务建立及结果查询的步骤展示，读者可理解两种配置的差异并根据业务需求灵活选择。
李木子2024
30 2
萝卜丝丸子
|
24天前
|
安全 对象存储
阿里云EMR数据湖文件系统问题之JindoFSOSS的单一prefix热点的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFSOSS的单一prefix热点的问题如何解决
萝卜丝丸子
22 1
游客a2bbytkdfdyn2
|
存储 SQL 算法
1/20的成本！PolarDB-X冷热分离存储评测
本文将对多款数据库产品的压缩能力进行测评对比，并展示其背后的设计原理。
游客a2bbytkdfdyn2
414 0
1/20的成本！PolarDB-X冷热分离存储评测
唐恺
|
存储 SQL 分布式计算
存储与计算分离：OSS构建表 + 计算引擎对接
看到标题，可能有用户要问：OSS不是用来存图片、视频、及文件的吗，还可以在上面建表、数仓？计算效率和经济性表现怎么样？ 本文先给出基本结论： OSS是什么? 对象存储（Object Storage Service，简称OSS）是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务，是一种面向互联网的大规模、通用存储，提供RESTful API，具备容量和处理的弹性扩展能力。
唐恺
16288 0
中间件小哥
|
存储 缓存 运维
作业帮检索服务基于 Fluid 的计算存储分离实践
计算和存储分离的模式使得以往我们认为非常特殊的服务可以被无状态化，可以像正常服务一样被纳入 devops 体系中，而基于 Fluid 的数据编排和加速系统，则是实践计算和存储分离的一个切口，除了用于检索系统外，我们也在探索基于 Fluid 的 OCR 系统模型训练和分发的模式。
中间件小哥
293 2
作业帮检索服务基于 Fluid 的计算存储分离实践
阿里云E-MapReduce团队
|
SQL 存储 缓存
数据湖实操讲解【JindoFS 缓存加速】第十三讲：Presto 访问 OSS 透明缓存加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
11262 0
数据湖实操讲解【JindoFS 缓存加速】第十三讲：Presto 访问 OSS 透明缓存加速
阿里云E-MapReduce团队
|
SQL 缓存 分布式计算
数据湖实操讲解【JindoFS 缓存加速】第十五讲：云上计算云下数据：HDFS 缓存加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
5329 0
数据湖实操讲解【JindoFS 缓存加速】第十五讲：云上计算云下数据：HDFS 缓存加速
阿里云E-MapReduce团队
|
存储 缓存 分布式计算
数据湖实操讲解【JindoFS 缓存加速】第十四讲：指定表和分区来预先缓存，查询分析更高效
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
5143 0
数据湖实操讲解【JindoFS 缓存加速】第十四讲：指定表和分区来预先缓存，查询分析更高效
阿里云E-MapReduce团队
|
存储 缓存 分布式计算
JindoFS 存储策略和读写优化
本次分享主要介绍数据读写在计算存储分离的场景下所面临的常见问题以及相关的优化手段，并结合JindoFS应用场景介绍对数据缓存加速的相关技术和策略。
阿里云E-MapReduce团队
2515 0
JindoFS 存储策略和读写优化
阿里云E-MapReduce团队
|
存储 SQL 缓存
数据湖实操讲解【JindoFS 缓存加速】第十二讲：Spark 访问 OSS 透明缓存加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
1818 0
数据湖实操讲解【JindoFS 缓存加速】第十二讲：Spark 访问 OSS 透明缓存加速
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    现代流式计算的基石：Google DataFlow
  • 2
    如何使用Kafka Connect实现同步RDS binlog数据
  • 3
    JindoFS概述：云原生的大数据计算存储分离方案
  • 4
    5W1H(六何分析法)全景洞察大数据
  • 5
    使用Hive进行OSS数据处理的一个最佳实践
  • 6
    HAS-插件式Kerberos认证框架
  • 7
    开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
  • 8
    是时候放弃 Spark Streaming, 转向 Structured Streaming 了
  • 9
    E-MapReduce集群如何使用Phoenix on HBase
  • 10
    E-MapReduce HDFS文件快速CRC校验工具介绍
  • 1
    阿里云 EMR StarRocks 在七猫的应用和实践
    80
  • 2
    EMR Serverless StarRocks体验测评
    26
  • 3
    EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
    136
  • 4
    不是吧？这么好用的开源标注工具，竟然还有人不知道…
    51
  • 5
    迟来的EMR Serverless Spark评测报告
    198
  • 6
    DataWorks操作报错合集之在处理元数据存储时发生报错：ODPS-0010000，该如何处理
    85
  • 7
    EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
    364
  • 8
    【报名中】阿里云 x StarRocks：极速湖仓第二季—上海站
    300
  • 9
    阿里云 EMR Serverless StarRocks OLAP 数据分析场景解析
    19133
  • 10
    E-MapReduce Serverless Spark体验评测
    266

    • 相关课程

    更多
  • Lindorm的核心特性
  • 分布式文件存储系统技术及实现
  • Serverless 函数计算架构
  • EMR Serverless StarRocks 3.1 存算分离介绍
  • Lindorm的四大典型场景和实践
  • 阿里云 DTS是如何做实时数据集成的？

    • 相关电子书

    更多
  • 云上HBase冷热分离实践.pdf
  • 实战-如何基于HBase构建图片视频数据的统一存储检索方案
  • 存储分层企业数据存储类型选择与优化

    • 相关实验场景

    更多
  • 体验PolarDB-X透明分布式
  • 体验RDS通用云盘核心能力
  • 基于生命周期管理的存储成本优化
  • 基于Hologres轻量实时的高性能OLAP分析
  • 基于DTS构建一站式实时数据服务
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
    • 下一篇
    DDNS