HDFS集中式缓存管理

简介: Hadoop从2.3.0版本开始支持HDFS缓存机制,HDFS允许用户将一部分目录或文 件缓存在HDFS当中,NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中。

Hadoop从2.3.0版本开始支持HDFS缓存机制,HDFS允许用户将一部分目录或文 件缓存在HDFS当中,NameNode会通知拥有对应块的DataNodes将其缓存在
DataNode的内存当中。

优势

  • 防止那些被频繁使用的数据从内存中清除
  • 因为DataNode的缓存由NameNode来管理,applications在做任务安排时可以查询这个缓 存的列表,使用一个被缓存的块副本能够提高读性能
  • 当块被DataNode缓存之后,客户端可以使用一个新的、高效的、zero-copy的读API,因 为缓存中的数据已经被计算过checksum,当使用新API时,客户端基本上是零开销的
  • 可以提高集群的内存利用率。当使用操作系统的缓存时,对一个块的重复读会导致所有 的副本都会被放到缓冲区当中,当使用集中式缓存时,用户可以指定n个副本中的m个 才会被缓存,可以节约n-m的内存

使用场景

  • 集中式缓存对那些频繁访问的的文件是非常有用的,例如hive中经常被使用的fact表就 非常适合缓存
  • 另一方面,缓存一年的查询结果可能没那么有用了,因为这个结果可能只会被查看一次
    有助于提高混合类型作业的SLA性能,把高优先级的数据缓存起来可以确保它不会与低 优先级的数据竞争磁盘IO

命令行

image.png
目录
相关文章
|
2月前
|
存储 缓存 分布式计算
|
5月前
|
消息中间件 缓存 NoSQL
利用Redis实现高效缓存管理与加速
本文将探讨如何利用Redis作为缓存管理工具,通过深入分析Redis的特性、使用场景和优势,帮助开发人员更好地理解和应用Redis来提升系统性能和响应速度。
|
存储 缓存 大数据
大数据数据存储的分布式文件系统的HDFS的核心机制理解的缓存机制
在 Hdfs 中,数据的复制和原理是基于块的分布式存储。
72 0
|
5月前
|
缓存 NoSQL Apache
Shiro - 缓存管理与CacheManagerAware接口
Shiro - 缓存管理与CacheManagerAware接口
100 0
|
消息中间件 设计模式 存储
高效协作处理缓存清理需求:生产者-消费者模式助力多模块缓存管理
在现代应用系统中,缓存是提高性能和减少数据库负载的重要手段之一。然而,缓存的数据在某些情况下可能会过期或者变得无效,因此需要及时进行清理。在复杂的应用系统中,可能有多个系统、多个模块产生缓存清理需求,而这些系统、模块之间的清理任务需要高效的协作,以避免数据竞争和资源浪费的问题。
121 0
高效协作处理缓存清理需求:生产者-消费者模式助力多模块缓存管理
|
缓存 NoSQL 调度
微服务实践01--微服务管理11--缓存04--实践01--缓存使用
微服务实践01--微服务管理11--缓存04--实践01--缓存使用
188 0
微服务实践01--微服务管理11--缓存04--实践01--缓存使用
|
设计模式 存储 缓存
微服务实践01--微服务管理11--缓存03--典型缓存架构设计
微服务实践01--微服务管理11--缓存03--典型缓存架构设计
406 0
微服务实践01--微服务管理11--缓存03--典型缓存架构设计
|
存储 缓存 NoSQL
微服务实践01--微服务管理11--缓存02--分级缓存设计
微服务实践01--微服务管理11--缓存02--分级缓存设计
307 0
微服务实践01--微服务管理11--缓存02--分级缓存设计
|
存储 缓存 监控
微服务实践01--微服务管理11--缓存01--技术
微服务实践01--微服务管理11--缓存01--技术
245 0
微服务实践01--微服务管理11--缓存01--技术