JindoFS背景

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: JindoFS背景

JindoFS背景
计算存储分离是云计算的一种发展趋势,传统的计算存储相互融合的的架构存在一定的问题, 比如在集群扩容的时候存在计算能力和存储能力相互不匹配的问题,用户在某些情况下只需要扩容计算能力或者存储能力,传统的融合架构不能单独的扩充计算或者存储能力, 而计算存储分离可以很好的解决这个问题,用户只需要关心整个集群的计算能力。

基于OSS 计算存储分离

EMR 现有的计算存储分离方案是基于OSS提供兼容Hadoop文件系统的OssFS, 用户通过OssFS 可以访问OSS 上的数据, 因此OssFS 保留了OSS的一些优势,比如提供海量存储,成本低,高可靠等,同时也存在一些问题比如文件重命名操作慢, OSS 带宽限制,高频访问的数据消耗过多的OSS带宽。而JindoFS 除了可以保留上述OssFS的优势,还克服上述OssFS的问题。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
《阿里云 JindoFS+OSS 数据上云实战》下载
为了帮助读者能更全面地了解 JindoFS,我们特地编撰了这本电子书。从架构到场景到实操,全方面解读jindoFS。
116 5
《阿里云 JindoFS+OSS 数据上云实战》下载
|
存储 机器学习/深度学习 SQL
JindoFS 介绍
JindoFS 介绍
655 0
|
存储 缓存 分布式计算
拥抱云原生,Fluid 结合 JindoFS:阿里云 OSS 加速利器
Fluid 是一个开源的 Kubernetes 原生的分布式数据集编排和加速引擎,主要服务于云原生场景下的数据密集型应用,例如大数据应用、AI 应用等。通过 Kubernetes 服务提供的数据层抽象,可以让数据像流体一样在诸如 HDFS、OSS、Ceph 等存储源和 Kubernetes 上层云原生应用计算之间灵活高效地移动、复制、驱逐、转换和管理。
拥抱云原生,Fluid 结合 JindoFS:阿里云 OSS 加速利器
|
存储 机器学习/深度学习 SQL
JindoFS 主要包含两个服务组件
JindoFS 主要包含两个服务组件
84 0
|
SQL 分布式计算 关系型数据库
Hive 数仓迁移 JindoFS/OSS 数据湖最佳实践
Hive 数仓是大多数迁移客户都会遇到的场景。在迁移过程中,不建议同时在新集群进行业务升级(比如从 Hive on MR 迁移到 Hive on Tez 或 Spark SQL等),这些业务升级可以在迁移完成后进行。1. 元数据同步Hive 元数据是对于 Hive 表来说非常关键,除了表结构信息,里面还记录着 Hive 表与底层文件系统的关联关系,许多上层服务都依赖 Hive 元数据提供服务。a.
571 0
|
存储 机器学习/深度学习 缓存
Fluid + JindoFS 对 HDFS 上的数据进行训练加速 | 学习笔记
快速学习Fluid + JindoFS 对 HDFS 上的数据进行训练加速。
178 0
|
缓存 Kubernetes Cloud Native
Fluid十JindoFS 对 OSS 上的数据进行训练加速 | 学习笔记
快速学习Fluid十JindoFS 对 OSS 上的数据进行训练加速。
160 0
|
机器学习/深度学习 缓存 人工智能
Fluid + JindoFS 对海量小文件的训练加速 | 学习笔记
快速学习Fluid + JindoFS 对海量小文件的训练加速。
165 0
|
存储 SQL 人工智能
【数据湖 JindoFS+OSS 实操干货36讲】正式上线!
为了让更多开发者了解并使用 JindoFS,由阿里云 JindoFS+OSS 团队打造的专业公开课【数据湖 JindoFS+OSS 实操干货36讲】正式上线。从五大版块入手,带你玩转数据湖!
【数据湖 JindoFS+OSS 实操干货36讲】正式上线!
|
SQL 缓存 分布式计算
数据湖实操讲解【JindoFS 缓存加速】第十五讲:云上计算云下数据:HDFS 缓存加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播! 扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs
数据湖实操讲解【JindoFS 缓存加速】第十五讲:云上计算云下数据:HDFS 缓存加速