AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】

2019-07-29 1421
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。

直播间直达链接：（回看链接）

时间

7月31日19:00

主讲人：

辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作

简介：

在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
_Apache_Spark____spark_

文章标签：
开源大数据平台 E-MapReduce
分布式计算
Spark
存储
Apache
缓存
关键词：
钉钉存储
钉钉计算
开源大数据EMR
目录
相关文章
fengsl
|
JavaScript 物联网
使用TDengine国产时序数据库存储能耗数据并通过钉钉机器人接收报警信息
使用TDengine存储能耗数据并接收报警实现目标：1、边缘侧应用采集电表数据2、通过TDengine存储能耗时序数据3、使用钉钉机器人控件发送消息4、实时监测电压波动报警阀值，通过阿里钉钉发送报警消息场景介绍。
fengsl
10658 2
使用TDengine国产时序数据库存储能耗数据并通过钉钉机器人接收报警信息
圣禾名图
|
存储 API
钉钉开放平台的存储类API无法提交文件的问题
存储类API： 调用”提交文件”时返回，会返回code 400， 提示 uploadkey 无效。 code: 400, Specified parameter uploadKey is not valid. request id: 768D2EE8-A32E-7A04-A593-63EB0037E431 uploadkey 确实是使用“获取文件上传信息”正常的获得，并且在调用“提交文件”接口前，使用“添加权限”接口赋予了访问权限。
圣禾名图
459 0
anxin
|
存储 专有云 对象存储
钉钉专属存储部署流程
七步部署钉钉专属存储
anxin
2443 0
钉钉专属存储部署流程
anxin
|
存储 负载均衡 专有云
钉钉专属存储的几种部署架构
MiniOSS三种常用的部署架构
anxin
3382 0
钉钉专属存储的几种部署架构
擎天xm
|
监控 物联网 机器人
钉钉机器人调用函数计算实现serverless web服务：传统门禁的简单改造，懒惰癌的福音
本文通过钉钉机器人调用函数计算实现的serverless web服务，打通物联网平台，和树莓派实时通讯。实现了将原有传统的磁吸门禁，改造成可以由钉钉来控制开门的简单应用。
擎天xm
3553 0
阿里云E-MapReduce团队
|
缓存
7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
阿里云E-MapReduce团队
1293 0
技术小达人
|
存储 弹性计算 安全
课时23：案例分享——钉钉
钉钉作为企业级产品，采用SaaS平台技术，依托阿里云的ECS、OSS等服务，实现快速部署与客户需求的高效适应。其数据存储于阿里云RDS中，确保安全性和可靠性，并通过高强度加密保障信息传输安全。阿里云的安全防护措施为钉钉提供了坚实后盾，使其能专注于优化和创新，提升用户体验。
技术小达人
498 0
创峰会-江鑫恒
|
人工智能 供应链 Cloud Native
直播回顾 | 钉钉发布会到底讲了什么？企业数字化如何转型？阿里技术最佳实践案例大披露！
最新热点直播都在这，你不了解下？
创峰会-江鑫恒
805 0
直播回顾 | 钉钉发布会到底讲了什么？企业数字化如何转型？阿里技术最佳实践案例大披露！
阿里云社区
|
存储 弹性计算 安全
成功案例-钉钉 | 学习笔记
快速学习 成功案例-钉钉
阿里云社区
670 0
游客6bmubfauzwlsc
|
存储 弹性计算 安全
案例分享——钉钉
rds数据库 阿里云为钉钉提供了安全性和整体服务的稳定性
游客6bmubfauzwlsc
1508 0
案例分享——钉钉
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    如何使用Kafka Connect实现同步RDS binlog数据
  • 4
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 5
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 6
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 7
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 8
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 9
    HIVE MapJoin异常问题处理总结
  • 10
    漫谈分布式计算框架
  • 1
    优路教育借助阿里云Flink+StarRocks+Paimon湖仓一体化构建职业教育业务全链路实时数据服务平台
    169
  • 2
    OpenClaw + QQ 机器人！保姆级图文教程，一步到位
    391
  • 3
    1688商品详情API（1688.item_get）Python实战：构建B2B供应链数据中台
    265
  • 4
    迅雷基于阿里云 EMR Serverless Spark 实现数仓资源效率与业务提升
    234
  • 5
    鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
    584
  • 6
    一套底座支撑多场景：高德地图基于 Paimon + StarRocks 轨迹服务实践
    414
  • 7
    EMR Serverless Spark 携手 PAI/百炼，开启“SQL 即 AI”的新篇章
    279
  • 8
    诗悦游戏基于DLF与EMR StarRocks降本38%
    351
  • 9
    基于DLF构建实时数据湖
    274
  • 10
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    371

    • 相关电子书

    更多
  • 钉钉小程序——为工作方式插上翅膀
  • 钉钉客户端自动化的应用
  • 使命必达 —— 钉钉企业级 消息服务的机遇与挑战
    • 下一篇
    阿里云正式发布 Agentic 代码安全：AI驱动的双Agent协同引擎