AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

OSS 数据湖实践 —— 使用EMR JindoFs Cache提升性能

2020-05-26 1434
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 通过使用JindoFs 的Cache功能，加速作业计算，减小OSS带宽需求，优化作业架构。

通过使用cache缓存机制，减少数据分析处理过程中直读OSS的次数，不仅能够提高性能，更能减少与OSS的交互流量，减少数据分析成本与时间开销。

前提条件

  • 已注册阿里云账号，详情请参见注册云账号。
  • 已开通E-MapReduce服务和OSS服务。
  • 已完成云账号的授权，详情请参见角色授权。
  • 已创建Haoop集群，且带有Hive组件，且配置OSS数据源。

步骤一：设置JindoFs Cache

打开smartdata服务中client配置，
把jfs.cache.data-cache.enable为1， 表示打开JindoFs的cache功能打开

步骤二：进行作业测试

数据分析作业具体可看其他OSS数据湖实践文档功能
OSS Spark 实践文档
OSS Flink 实践文档
OSS Hive 实践文档

文章标签：
对象存储
数据挖掘
流计算
分布式计算
SQL
对象存储
Spark
HIVE
缓存
关键词：
数据湖实践
数据湖性能
对象存储性能
emr数据湖
emr oss
相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验，用户可学会如何用对象OSS的插件，进行简单的数据存、查、删等操作。
huangchuang
目录
相关文章
阿里云基础设施.
|
存储 Kubernetes 对象存储
StrmVol存储卷：如何解锁K8s对象存储海量小文件访问性能新高度？
如何提升海量文件的数据读取速率，对于AI训练集管理、量化回测、时序日志分析等场景尤为重要。阿里云容器服务（ACK)）支持StrmVol类型存储卷，基于底层虚拟块设备及内核态文件系统,显著降低海量小文件访问延迟。
阿里云基础设施.
429 41
阿里云云原生
|
存储 Kubernetes 对象存储
StrmVol 存储卷：解锁 K8s 对象存储海量小文件访问性能新高度
本文介绍了阿里云容器服务（ACK）支持的StrmVol存储卷方案，旨在解决Kubernetes环境中海量小文件访问性能瓶颈问题。通过虚拟块设备与内核态文件系统（如EROFS）结合，StrmVol显著降低了小文件访问延迟，适用于AI训练集加载、时序日志分析等场景。其核心优化包括内存预取加速、减少I/O等待、内核态直接读取避免用户态切换开销，以及轻量索引快速初始化。示例中展示了基于Argo Workflows的工作流任务，模拟分布式图像数据集加载，测试结果显示平均处理时间为21秒。StrmVol适合只读场景且OSS端数据无需频繁更新的情况，详细使用方法可参考官方文档。
阿里云云原生
2411 145
阿里云大数据
|
存储 运维 Serverless
千万级数据秒级响应！碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构，解决了海量数据处理中的资源利用率低、并发能力不足等问题，显著降低了硬件和运维成本。实时查询性能提升8倍，查询出错率减少30倍，集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验，还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
阿里云大数据
1359 69
阿里云大数据
|
存储 分布式计算 OLAP
百观科技基于阿里云 EMR 的数据湖实践分享
百观科技为应对海量复杂数据处理的算力与成本挑战，基于阿里云 EMR 构建数据湖。EMR 依托高可用的 OSS 存储、开箱即用的 Hadoop/Spark/Iceberg 等开源技术生态及弹性调度，实现数据接入、清洗、聚合与分析全流程。通过 DLF 与 Iceberg 的优化、阶梯式弹性调度（资源利用率提升至70%）及倚天 ARM 机型搭配 EMR Trino 方案，兼顾性能与成本，支撑数据分析需求，降低算力成本。
阿里云大数据
948 59
Aron_NeAr
|
存储 缓存 Apache
Apache Iceberg数据湖高级特性及性能调优
性能调优涵盖索引优化、排序策略与元数据管理。通过布隆过滤器、位图索引等提升查询效率，结合文件内/间排序优化I/O与压缩，辅以Z-Order实现多维数据聚集。同时，合理配置元数据缓存与清单合并，加速查询规划。适用于点查、全表扫描及高并发写入场景，显著提升系统性能与资源利用率。
Aron_NeAr
1099 0
穿过生命散发芬芳
|
SQL 安全 Serverless
活动实践 | 基于EMR StarRocks实现游戏玩家画像和行为分析
基于阿里云EMR Serverless StarRocks，利用其物化视图和DLF读写Paimon等能力，构建游戏玩家画像和行为分析平台。通过收集、处理玩家行为日志，最终以报表形式展示分析结果，帮助业务人员决策。
穿过生命散发芬芳
350 8
墨祤
|
Serverless BI
有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
阿里云EMR-StarRocks联合镜舟科技，基于EMR-StarRocks实现游戏实时湖仓分析，免费试用物化视图、Paimon写入查询等新能力，前45位赢取StarRocks定制T恤、Lamy钢笔，小米充电宝，阿里云拍拍灯等活动礼品，前500位均可获得创意马克杯。
墨祤
493 7
扬流
|
SQL 存储 NoSQL
阿里云 EMR StarRocks 在七猫的应用和实践
本文整理自七猫资深大数据架构师蒋乾老师在 《阿里云 x StarRocks：极速湖仓第二季—上海站》的分享。
扬流
1495 2
土木林森
|
安全 数据管理 大数据
数据湖的未来已来：EMR DeltaLake携手阿里云DLF，重塑企业级数据处理格局
【8月更文挑战第26天】在大数据处理领域，阿里云EMR与DeltaLake的集成增强了数据处理能力。进一步结合阿里云DLF服务，实现了数据湖的一站式管理，自动化处理元数据及权限控制，简化管理流程。集成后的方案提升了数据安全性、可靠性和性能优化水平，让用户更专注业务价值。这一集成标志着数据湖技术向着自动化、安全和高效的未来迈出重要一步。
土木林森
451 2
土木林森
|
存储 大数据 数据处理
Delta Lake革新浪潮：EMR中的数据湖守护者，如何重塑大数据生态？
【8月更文挑战第26天】Delta Lake是一款开源大数据处理框架，以数据版本控制和ACID事务特性著称，在大数据领域崭露头角。在阿里云EMR平台上，它为用户提供高效可靠的数据处理方式，通过结构化的存储、事务日志实现数据版本控制和回滚。Delta Lake在EMR中实现了ACID事务，简化数据湖操作流程，支持时间旅行查询历史数据版本，优化存储格式提高读取速度，这些优势使其在开源社区和企业界获得广泛认可。
土木林森
386 2

热门文章

最新文章

  • 1
    重磅下载！首次揭秘如何构建阿里云云原生数据湖体系
  • 2
    如何用好云原生数据湖？
  • 3
    B 站构建实时数据湖的探索和实践
  • 4
    基于 Flink+Iceberg 构建企业级实时数据湖
  • 5
    数据湖与数据仓库：初学者的指南
  • 6
    MiniMax云上AI数据湖最佳实践
  • 7
    抖音集团基于Paimon的流式数据湖应用实践
  • 8
    数据湖架构构建与技术解析 | 开发者社区精选文章合集（二十）
  • 9
    数据湖实操讲解【 AI 训练加速】第十八讲：Fluid + JindoFS 对海量小文件的训练加速
  • 10
    什么是数据管理，数据治理，数据中心，数据中台，数据湖？
  • 1
    阿里云渠道商：OSS与传统存储系统的差异在哪里？
    563
  • 2
    阿里云对象存储OSS收费标准：存储费、流量价格及不同计费模式全解析
    2760
  • 3
    金融保险行业客户配置OSS公共读引发数据泄漏风险
    426
  • 4
    10分钟零代码，0元立即部署OpenAI开源模型 GPT-OSS
    1029
  • 5
    如何使用CDN加速访问OSS存储的图片资源？
    1412
  • 6
    如何创建、修改和删除OSS加速器？
    601
  • 7
    什么是OSS加速器？
    964
  • 8
    如何用阿里云OSS对图片和视频进行数据处理？
    1770
  • 9
    如何利用阿里云OSS进行图片和视频处理？
    1271
  • 10
    阿里云国际站OSS与自建存储的区别
    665

    • 相关课程

    更多
  • EMR Serverless StarRocks 介绍
  • 基于FC+NAS部署SD服务，并从OSS模型库下载模型文件
  • 企业运维训练营之大数据EMR原理与实践
  • 大数据知识图谱系列—如何选择合适的OLAP引擎进行数据湖分析
  • EMR Studio 大数据处理最佳实践课程
  • 阿里云 EMR on ACK 实战

    • 相关电子书

    更多
  • 生命密码－基因数据的EMR实践
  • 超大规模机器学习在EMR的实践
  • EMR弹性低成本离线大数据分析最佳实践

    • 相关实验场景

    更多
  • 使用ECS和OSS搭建个人网盘
  • 对象存储OSS快速上手——ossutil工具管理OSS
  • 基于对象存储工具ossfs的操作指南
  • 通过日志服务实现云资源OSS的安全审计
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！