视频介绍
庞大的小文件和冷文件数量会对HDFS的性能产生不利影响，严重时甚至影响业务稳定性，这个主题将介绍对大容量HDFS进行小文件和冷文件分析的方法，并基于分析结果可以采取哪些处理措施。
讲师：
郭聪，花名析源，阿里云计算平台事业部技术专家。目前主要从事大数据领域APM产品的研发工作。
相关视频
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
-
分布式快照算法: Chandy-Lamport23610
-
现代流式计算的基石：Google DataFlow18456
-
JindoFS: 云上大数据的高性能数据湖存储方案16385
-
梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践13472
-
基于Alluxio系统的Spark DataFrame高效存储管理技术12274
-
JindoFS概述：云原生的大数据计算存储分离方案23164
-
Apache Spark 3.0 将内置支持 GPU 调度10536
-
【译】用SQL统一所有：一种有效的、语法惯用的流和表管理方法8367
-
HAS-插件式Kerberos认证框架8575
-
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake8716
展开全部
-
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？561
-
大佬，可以请教下，有没有遇到 com.aliyun.oss1206
-
数据湖要考虑的首要问题是什么？1478
-
想问下，maxcomputer 创建的SQL脚本 可以用shell 调用运行吗1112
-
阿里云Data bricks数据洞察(DDI)架构是什么？1050
-
emr目前和max compute是竟品吗？上线业务该怎么选？475
-
spark sql 使用row_number 出现oom1417
-
sprak是什么718
-
Data Lake Delta 不同点有什么？908
-
Spark调优数据分布不均是什么意思？1553
展开全部
来源圈子
更多
+ 订阅
相关文章
更多
Hadoop HDFS编程 API入门系列之路径过滤上传多个文件到HDFS（二）
hadoop之 Hadoop2.2.0中HDFS的高可用性实现原理
hadoop集群服务重启后出错
Hadoop设置任务执行队列及优先级
《深入理解Hadoop（原书第2版）》——2.5 HDFS 的高可用性
《Hadoop技术详解》一2.6 NameNode的高可用性
【干货】Apache Hadoop 2.8 完全分布式集群搭建超详细过程，实现NameNode HA、ResourceManager HA高可靠性
[Hadoop]输入路径过滤，通配符与PathFilter
Hadoop中JAVA不经过Catch(Exception e)直接到finally或者退出原因
三台PC服务器部署Hadoop HA（Hadoop 高可用性架构）