访问 OSS 这类对象存储最快的方式- JindoFS SDK |学习笔记

开发者学堂课程【数据湖  JindoFS + OSS 实操干货 36 讲：访问 OSS 这类对象存储最快的方式- JindoFS SDK】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/833/detail/13965

访问 OSS 这类对象存储最快的方式- JindoFS SDK

内容介绍：

• 大数据存储架构演进

• JindoFS

• JindoFS SDK

• JindoFS 性能

一、大数据存储架构演进

数据湖存储方案（JindoFS SDK + 对象存储）

成本：（1）储存成本低，分层存储结合使用

(2) 运维投入少

性能：（1）海量文件下的高效元数据性能

（2）存储的读写吞吐能力

数据湖特性:(1)事务写入，多版本Checksum

(3) Jindo Table  数仓结合：Spark SQL/Hive/Presto/Impala

安全：（1）多种免密认证

（2）客户端/服务端加密

2、JindoFS

JindoFS  双模式

• 既是一个分布式缓存系统，为计算加速和提供优化（缓存/cache 模式）

• 也是一个分布式存储系统，支持高可靠高可用和安全（存储/block 模式）

JindoFS  客户端 Native  架构

• 全链路 Native

• 一套底层适配多个场景

3、JindoFS SDK

HCFS 标准

Filesystem Compatibility with Apache Hadoop

JindoFS SDK 访问 OSS

4、JindoFS SDK 优势

高性能

• Native Object Engine 基础操作性能平均提升 2.2 倍

• Jindo HCFS  对比开源版本性能大幅提升

易集成

• 不引入额外 Java 依赖，避免生产环境出现依赖冲突

• 社区模式：文档完善+在线支持

高可靠

• 大量客户 Hadoop  生产环境部署使用

• 对接引擎丰富

Jindo Native Object SDK vs OSS Java SDK

Jindo OSS Hadoop SDK vs Hadoop 现有OSS SDK