AI 助理
备案控制台
开发者社区 大数据 文章 正文

OSS 数据湖实践 —— 使用EMR JindoFs Cache提升性能

2020-05-26 1314
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，标准 - 本地冗余存储 20GB 3个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务 ossutil工具管理OSS
对象存储 OSS，内容安全 1000 次 1年
对象存储 OSS，恶意文件检测 1000次 1年
简介： 通过使用JindoFs 的Cache功能，加速作业计算，减小OSS带宽需求，优化作业架构。

通过使用cache缓存机制，减少数据分析处理过程中直读OSS的次数，不仅能够提高性能，更能减少与OSS的交互流量，减少数据分析成本与时间开销。

前提条件

  • 已注册阿里云账号，详情请参见注册云账号。
  • 已开通E-MapReduce服务和OSS服务。
  • 已完成云账号的授权，详情请参见角色授权。
  • 已创建Haoop集群，且带有Hive组件，且配置OSS数据源。

步骤一：设置JindoFs Cache

打开smartdata服务中client配置，
把jfs.cache.data-cache.enable为1， 表示打开JindoFs的cache功能打开

步骤二：进行作业测试

数据分析作业具体可看其他OSS数据湖实践文档功能
OSS Spark 实践文档
OSS Flink 实践文档
OSS Hive 实践文档

文章标签：
对象存储
数据挖掘
流计算
分布式计算
SQL
对象存储
Spark
HIVE
缓存
关键词：
数据湖实践
数据湖性能
对象存储性能
emr数据湖
emr oss
相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
huangchuang
目录
相关文章
阿里云大数据
|
7月前
|
存储 运维 Serverless
千万级数据秒级响应！碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构，解决了海量数据处理中的资源利用率低、并发能力不足等问题，显著降低了硬件和运维成本。实时查询性能提升8倍，查询出错率减少30倍，集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验，还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
阿里云大数据
692 69
灵杰开发者
|
4月前
|
存储 SQL 测试技术
抖音集团基于Paimon的流式数据湖应用实践
本文整理自抖音集团数据工程师在Flink Forward Asia 2024的分享，围绕流式湖仓架构的背景、实践与未来展望展开。内容涵盖实时数仓架构演进、Paimon的应用与优化，以及在长周期指标计算和大流量场景下的落地实践经验。
灵杰开发者
497 0
阿里云云原生
|
9月前
|
消息中间件 监控 数据挖掘
【有奖实践】轻量消息队列（原 MNS）订阅 OSS 事件实时处理文件变动
当你需要对对象存储 OSS（Object Storage Service）中的文件变动进行实时处理、同步、监听、业务触发、日志记录等操作时，你可以通过设置 OSS 的事件通知规则，自定义关注的文件，并将 OSS 事件推送到轻量消息队列（原 MNS）的队列或主题中，开发者的服务即可及时收到相关通知，并通过消费消息进行后续的业务处理。
阿里云云原生
209 98
阿里云大数据
|
7月前
|
存储 分布式计算 OLAP
百观科技基于阿里云 EMR 的数据湖实践分享
百观科技为应对海量复杂数据处理的算力与成本挑战，基于阿里云 EMR 构建数据湖。EMR 依托高可用的 OSS 存储、开箱即用的 Hadoop/Spark/Iceberg 等开源技术生态及弹性调度，实现数据接入、清洗、聚合与分析全流程。通过 DLF 与 Iceberg 的优化、阶梯式弹性调度（资源利用率提升至70%）及倚天 ARM 机型搭配 EMR Trino 方案，兼顾性能与成本，支撑数据分析需求，降低算力成本。
阿里云大数据
517 59
探索云世界
|
11月前
|
弹性计算 人工智能 数据管理
AI场景下的对象存储OSS数据管理实践
本文介绍了ECS和OSS的操作流程，分为两大部分。第一部分详细讲解了ECS的登录、密码重置、安全组设置及OSSUTIL工具的安装与配置，通过实验创建并管理存储桶，上传下载文件，确保资源及时释放。第二部分则聚焦于OSSFS工具的应用，演示如何将对象存储挂载为磁盘，进行大文件加载与模型训练，强调环境搭建（如Conda环境）及依赖安装步骤，确保实验结束后正确清理AccessKey和相关资源。整个过程注重操作细节与安全性，帮助用户高效利用云资源完成实验任务。
探索云世界
994 161
数据库知识分享者小北
|
8月前
|
关系型数据库 数据库 对象存储
Dify实践｜Dify on DMS+对象存储OSS，实现多副本部署方案
本文介绍了在DMS上部署Dify的详细步骤，用户可选择一键购买资源或基于现有资源部署Dify，需配置RDS PostgreSQL、Redis、AnalyticDB for PostgreSQL等实例，并设置存储路径和资源规格。文中还提供了具体配置参数说明及操作截图，帮助用户顺利完成部署。
数据库知识分享者小北
1713 7
探索云世界
|
9月前
|
消息中间件 对象存储
轻量消息队列（原 MNS）订阅 OSS 事件实践
使用轻量消息队列订阅OSS事件，实时处理文件变动，赢取ins风U型枕（限量500个）。访问活动页面，完成实操并上传截图即可参与领奖。活动时间：即日起至2025年2月28日16:00。奖品数量有限，先到先得，快来报名吧！
探索云世界
161 2
技术小达人
|
9月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
技术小达人
240 0
穿过生命散发芬芳
|
12月前
|
弹性计算 数据管理 应用服务中间件
活动实践 | 借助OSS搭建在线教育视频课程分享网站
本教程指导用户在阿里云ECS实例上搭建在线教育网站，包括重置ECS密码、配置安全组、安装Nginx、创建网站页面、上传数据至OSS、开通OSS传输加速、配置生命周期策略及清理资源等步骤，实现高效、低成本的数据管理和网站运营。
穿过生命散发芬芳
346 1
活动实践 | 借助OSS搭建在线教育视频课程分享网站
探索云世界
|
11月前
|
存储 人工智能 开发工具
AI场景下的对象存储OSS数据管理实践
本文介绍了对象存储（OSS）在AI业务中的应用与实践。内容涵盖四个方面：1) 对象存储作为AI数据基石，因其低成本和高弹性成为云上数据存储首选；2) AI场景下的对象存储实践方案，包括数据获取、预处理、训练及推理阶段的具体使用方法；3) 国内主要区域的默认吞吐量提升至100Gbps，优化了大数据量下的带宽需求；4) 常用工具介绍，如OSSutil、ossfs、Python SDK等，帮助用户高效管理数据。重点讲解了OSS在AI训练和推理中的性能优化措施，以及不同工具的特点和应用场景。
探索云世界
987 10

热门文章

最新文章

  • 1
    云栖大会｜AI驱动的智能数据湖仓，高性能实时分析与深度洞察
  • 2
    阿里云渠道商：OSS与传统存储系统的差异在哪里？
  • 3
    零售数据湖的进化之路：滔搏从Lambda架构到阿里云Flink+Paimon统一架构的实战实践
  • 4
    阿里云对象存储OSS收费标准：存储费、流量价格及不同计费模式全解析
  • 5
    EMR-StarRocks 白皮书来啦！
  • 6
    EMR Spark Relational Cache的执行计划重写
  • 7
    阿里云MongoDB与EMR的HelloWorld
  • 8
    免费公测｜阿里云EMR Serverless StarRocks 公测正式开启！
  • 9
    EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework
  • 10
    阿里云EMR产品介绍及常见问题解答
  • 1
    阿里云渠道商：OSS与传统存储系统的差异在哪里？
    161
  • 2
    阿里云对象存储OSS收费标准：存储费、流量价格及不同计费模式全解析
    1015
  • 3
    金融保险行业客户配置OSS公共读引发数据泄漏风险
    203
  • 4
    10分钟零代码，0元立即部署OpenAI开源模型 GPT-OSS
    334
  • 5
    如何使用CDN加速访问OSS存储的图片资源？
    516
  • 6
    如何创建、修改和删除OSS加速器？
    202
  • 7
    什么是OSS加速器？
    320
  • 8
    如何用阿里云OSS对图片和视频进行数据处理？
    627
  • 9
    如何利用阿里云OSS进行图片和视频处理？
    489
  • 10
    阿里云国际站OSS与自建存储的区别
    258

    • 相关课程

    更多
  • EMR Serverless StarRocks 介绍
  • 基于FC+NAS部署SD服务，并从OSS模型库下载模型文件
  • 企业运维训练营之大数据EMR原理与实践
  • 大数据知识图谱系列—如何选择合适的OLAP引擎进行数据湖分析
  • EMR Studio 大数据处理最佳实践课程
  • 阿里云 EMR on ACK 实战

    • 相关电子书

    更多
  • DLA 一站式数据湖管理-如何高效构建安全的数据湖？
  • 阿里云云原生数据湖体系全解读
  • 数据湖存储解决方案蓝皮书

    • 相关实验场景

    更多
  • 借助OSS搭建在线教育视频课程分享网站
    • 下一篇
    oss云网关配置