AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】

2019-07-29 1298
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。

直播间直达链接：（回看链接）

时间

7月31日19:00

主讲人：

辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作

简介：

在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
_Apache_Spark____spark_

文章标签：
开源大数据平台 E-MapReduce
缓存
关键词：
钉钉数据
Apache数据
Apache分离
apache spark缓存
spark缓存
阿里云E-MapReduce团队
目录
相关文章
bruce_xiaowei
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储（一）
数据的存储--Redis缓存存储（一）
bruce_xiaowei
577 1
john散漫
|
11月前
|
Web App开发 存储 缓存
如何精准清除特定类型或标签的缓存数据？
如何精准清除特定类型或标签的缓存数据？
john散漫
903 57
技术自由圈/原疯狂创客圈
|
缓存 NoSQL 关系型数据库
美团面试：MySQL有1000w数据，redis只存20w的数据，如何做 缓存 设计？
美团面试：MySQL有1000w数据，redis只存20w的数据，如何做 缓存 设计？
技术自由圈/原疯狂创客圈
2396 12
美团面试：MySQL有1000w数据，redis只存20w的数据，如何做 缓存 设计？
隽阜
|
11月前
|
数据采集 人工智能 自然语言处理
豆蔻妇科大模型再突破：钉钉行业训练平台+精标数据SFT ，准确率从 77.1%上升至 90.2%
在医疗AI领域，通用大模型因缺乏专业临床判断力而难以胜任复杂诊断任务。本文以豆蔻妇科大模型为例，介绍了通过监督微调（SFT）显著提升诊断准确率的实践路径。从初始77.1%到最终90.2%的突破，依托高质量数据筛选、思维链校准、双重评估体系及钉钉训练平台支持，展示了医疗大模型从“知其然”到“知其所以然”的演进过程，并展望SFT+RL协同训练的未来发展。
隽阜
901 59
bruce_xiaowei
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储（二）
数据的存储--Redis缓存存储（二）
bruce_xiaowei
236 2
数据的存储--Redis缓存存储（二）
阿里云开发者
|
10月前
|
存储 缓存 监控
一次缓存引发的文件系统数据不一致问题排查与深度解析
本文详述了一次由自研分布式文件系统客户端 EFC 的缓存架构更新所引发的严重数据不一致问题的完整排查过程。
阿里云开发者
360 0
一次缓存引发的文件系统数据不一致问题排查与深度解析
蓝易云
|
消息中间件 缓存 NoSQL
基于Spring Data Redis与RabbitMQ实现字符串缓存和计数功能（数据同步）
总的来说，借助Spring Data Redis和RabbitMQ，我们可以轻松实现字符串缓存和计数的功能。而关键的部分不过是一些"厨房的套路"，一旦你掌握了这些套路，那么你就像厨师一样可以准备出一道道饕餮美食了。通过这种方式促进数据处理效率无疑将大大提高我们的生产力。
蓝易云
386 32
mao29955
|
缓存 监控 前端开发
处理页面缓存中数据不一致的问题
【10月更文挑战第9天】
mao29955
633 122
蚝油菜花
|
机器学习/深度学习 人工智能 缓存
MHA2MLA：0.3%数据微调！复旦团队开源推理加速神器，KV缓存狂降96.87%
MHA2MLA是复旦大学、华东师范大学、上海AI Lab等机构联合推出的数据高效微调方法，通过引入多头潜在注意力机制（MLA），显著优化基于Transformer的LLM推理效率，降低推理成本。
蚝油菜花
635 1
MHA2MLA：0.3%数据微调！复旦团队开源推理加速神器，KV缓存狂降96.87%
SelectDB
|
存储 SQL 监控
计算效率提升 10 倍，存储成本降低 60%，灵犀科技基于 Apache Doris 建设统一数据服务平台
灵犀科技早期基于 Hadoop 构建大数据平台，在战略调整和需求的持续扩增下，数据处理效率、查询性能、资源成本问题随之出现。为此，引入 [Apache Doris](https://doris.apache.org/) 替换了复杂技术栈，升级为集存储、加工、服务为一体的统一架构，实现存储成本下降 60%，计算效率提升超 10 倍的显著成效。
SelectDB
762 0
计算效率提升 10 倍，存储成本降低 60%，灵犀科技基于 Apache Doris 建设统一数据服务平台
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    如何使用Kafka Connect实现同步RDS binlog数据
  • 2
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 3
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 4
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 5
    漫谈分布式计算框架
  • 6
    首次揭秘|为6.4亿人次出行提供无线网络的技术架构
  • 7
    阿里封神-大数据处理技术漫谈
  • 8
    5W1H(六何分析法)全景洞察大数据
  • 9
    在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
  • 10
    从数砖开源 Delta Lake 说起
  • 1
    优路教育借助阿里云Flink+StarRocks+Paimon湖仓一体化构建职业教育业务全链路实时数据服务平台
    424
  • 2
    OpenClaw + QQ 机器人！保姆级图文教程，一步到位
    544
  • 3
    1688商品详情API（1688.item_get）Python实战：构建B2B供应链数据中台
    343
  • 4
    迅雷基于阿里云 EMR Serverless Spark 实现数仓资源效率与业务提升
    275
  • 5
    鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
    700
  • 6
    一套底座支撑多场景：高德地图基于 Paimon + StarRocks 轨迹服务实践
    465
  • 7
    EMR Serverless Spark 携手 PAI/百炼，开启“SQL 即 AI”的新篇章
    318
  • 8
    诗悦游戏基于DLF与EMR StarRocks降本38%
    387
  • 9
    基于DLF构建实时数据湖
    291
  • 10
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    408

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • 钉钉小程序——为工作方式插上翅膀
  • 钉钉客户端自动化的应用
  • 使命必达 —— 钉钉企业级 消息服务的机遇与挑战

    • 相关实验场景

    更多
  • 通过云原生API网关进行AI缓存

    • 推荐镜像

    更多
  • apache
    • 下一篇
    利用阿里云OSS（对象存储服务）快速搭建私人网盘