视频介绍
庞大的小文件和冷文件数量会对HDFS的性能产生不利影响，严重时甚至影响业务稳定性，这个主题将介绍对大容量HDFS进行小文件和冷文件分析的方法，并基于分析结果可以采取哪些处理措施。
讲师：
郭聪，花名析源，阿里云计算平台事业部技术专家。目前主要从事大数据领域APM产品的研发工作。
相关视频
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
-
5W1H(六何分析法)全景洞察大数据11127
-
助力云上开源生态 - 阿里云开源大数据平台的发展11814
-
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake8720
-
利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制6835
-
E-MapReduce解决hive comment中文乱码问题4473
-
使用Spark Streaming SQL进行PV/UV统计7068
-
开源大数据周刊-第19期3927
-
在 EMR 中使用 ES-Hadoop4120
-
Spark Operator浅析9515
-
Spark DataFrame 的 groupBy vs groupByKey4589
展开全部
-
想问下，maxcomputer 创建的SQL脚本 可以用shell 调用运行吗1120
-
Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？2065
-
Cosco的优势是什么？1178
-
大佬，可以请教下，有没有遇到 com.aliyun.oss1214
-
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？565
-
阿里云共享块存储和NAS还有OSS的区别是什么呀7740
-
您好，starrocksreader 有可用于社区版StarRocks的插件和模板吗？530
-
如果开传奇，同时在线4-5个版本需要什么配置云服务器多少带宽3918
-
阿里云E-MapReduce xml的带有kerberos如何配置呢？105
-
阿里云数据湖存储OSS的产生背景是什么？1361
展开全部
来源圈子
更多
+ 订阅
相关文章
更多
CentOS 7 集群部署 Hadoop 2.7.3
CentOS 7 快速架设hadoop 2.5.1集群
Hadoop 1.0.3 在CentOS 6.2上安装过程 [个人安装通过的全程记录]
CentOS 7下配置hadoop 2.8 分布式集群
Centos优化Hadoop
Hadoop项目之基于CentOS7的Cloudera 5.10.1（CDH）的安装部署
CentOS 6.5 搭建Hadoop 1.2.1集群
Hadoop 2.7.5 集群搭建基于CentOS7u3
centos 6.6 hadoop 2.7.1 完全分布式安装部署
一脸懵逼学习基于CentOs的Hadoop集群安装与配置（三台机器跑集群）