本讲义出自Bikas Saha在Hadoop Summit Tokyo 2016上的演讲，主要分享了对于Hadoop集群的性能度量与监控、日志记录、以及跟踪和分析等的相关方法和使用到的HBase、HDFS、YARN等相关的开源技术。
【Hadoop Summit Tokyo 2016】为什么我的Hadoop集群运行这么慢？
2017-02-26
2451
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本讲义出自Bikas Saha在Hadoop Summit Tokyo 2016上的演讲，主要分享了对于Hadoop集群的性能度量与监控、日志记录、以及跟踪和分析等的相关方法和使用到的HBase、HDFS、YARN等相关的开源技术。
目录
相关文章
|
4天前
|
SQL
弹性计算
分布式计算
实时计算 Flink版产品使用合集之如果产品是基于ak的，可以提交sql任务到ecs自建hadoop集群吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
15
0
0
|
6天前
|
分布式计算
监控
Hadoop
|
6天前
|
存储
分布式计算
Hadoop
|
6天前
|
分布式计算
负载均衡
Hadoop
|
6天前
|
存储
分布式计算
Hadoop
Hadoop集群规模扩展
【4月更文挑战第14天】Hadoop集群扩展可通过添加更多节点、垂直扩展（增强单节点资源）和水平扩展（增加节点数量）来实现。关键点包括规划扩展策略、确保集群稳定性和优化配置。注意在扩展过程中要保证数据完整性，并根据需求调整以提升集群性能和效率。
23
1
1
|
6天前
|
分布式计算
资源调度
Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
64
9
9
|
6天前
|
分布式计算
资源调度
Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
38
4
4
|
6天前
|
存储
分布式计算
Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架，核心包括MapReduce和HDFS，用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势，但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统，DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
99
2
2
|
6天前
|
分布式计算
Hadoop
大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
365
1
1
|
5天前
|
分布式计算
数据可视化
Hadoop