本讲义出自Abhishek Modi在Hadoop Summit Tokyo 2016上的演讲，主要介绍了Qubole的Hadoop技术、Qubole的架构设计、短生命周期的Hadoop集群的相关内容以及面对的挑战以及YARN的自动扩展和不断发展的HDFS技术。
【Hadoop Summit Tokyo 2016】操纵云上基于Hadoop 集群的YARN
2017-03-02
1951
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本讲义出自Abhishek Modi在Hadoop Summit Tokyo 2016上的演讲，主要介绍了Qubole的Hadoop技术、Qubole的架构设计、短生命周期的Hadoop集群的相关内容以及面对的挑战以及YARN的自动扩展和不断发展的HDFS技术。
目录
相关文章
|
9天前
|
分布式计算
Hadoop
Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例，详细介绍了如何在Hadoop集群中配置HTTPS，包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件，以及重启Hadoop集群的步骤，并提供了一些常见问题的故障排除方法。
18
3
3
|
10天前
|
资源调度
分布式计算
Hadoop
YARN(Hadoop操作系统)的架构
本文详细解释了YARN（Hadoop操作系统）的架构，包括其主要组件如ResourceManager、NodeManager和ApplicationMaster的作用以及它们如何协同工作来管理Hadoop集群中的资源和调度作业。
30
3
3
|
10天前
|
机器学习/深度学习
分布式计算
安全
Hadoop集群常见报错汇总
这篇博客总结了Hadoop集群中可能遇到的各种常见错误，包括Kerberos认证问题、配置错误、权限问题等，并为每个问题提供了详细的错误复现、原因分析以及相应的解决方案。
25
1
1
|
10天前
|
资源调度
分布式计算
Hadoop
|
10天前
|
资源调度
分布式计算
运维
Hadoop集群资源管理篇-资源调度器
详细介绍了Hadoop集群资源管理中的资源调度器，包括资源分配的概念、大数据运维工程师如何管理集群工作负载、资源调度器的背景、Hadoop提供的FIFO、容量调度器和公平调度器三种资源调度器的概述以及它们之间的对比。
43
4
4
|
10天前
|
分布式计算
监控
Hadoop
监控Hadoop集群实战篇
介绍了监控Hadoop集群的方法，包括监控Linux服务器、Hadoop指标、使用Ganglia监控Hadoop集群、Hadoop日志记录、通过Hadoop的Web UI进行监控以及其他Hadoop组件的监控，并提供了相关监控工具和资源的推荐阅读链接。
25
2
2
|
10天前
|
资源调度
分布式计算
Hadoop
搭建YARN集群
文章介绍了如何搭建YARN集群，包括启动HDFS集群、修改YARN配置文件、启动ResourceManager和NodeManager节点，并提供了用于管理Hadoop集群的自定义脚本。
24
2
2
|
15天前
|
机器学习/深度学习
存储
分布式计算
|
10天前
|
分布式计算
资源调度
Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架，包括准备数据、运行MapReduce任务、查看任务日志，并启动HistoryServer服务以便于日志查看。
26
0
0
|
13天前
|
存储
分布式计算
负载均衡
热门文章
最新文章
1
YARN中的CPU资源隔离-CGroups
2
Flink on YARN（上）：一张图轻松掌握基础架构与启动流程
3
Hadoop大数据平台实战(05)：深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s
4
[npm]使用(c)npm安装yarn
5
换npm yarn的源让install超时去死吧
6
CDP中使用YARN Web UI和CLI
7
项目中的yarn.lock文件的作用
8
Hadoop 2.x HDFS和YARN的启动方式
9
YARN的Memory和CPU调优配置详解
10
CCAH-CCA-500-6题:You want YARN to launch no more than 16 containers per node.