OushuDB 管理指南之资源管理

简介: 如果OushuDB和YARN配合使用,OushuDB可以从YARN申请资源,并把申请到的资源通过资源管理队列重新在查询之间分配。在不使用资源的时候会把资源动态归还给YARN。你可以在hawq-site.xml中修改如下配置使之生效。

image.png

使用YARN
如果OushuDB和YARN配合使用,OushuDB可以从YARN申请资源,并把申请到的资源通过资源管理队列重新在查询之间分配。在不使用资源的时候会把资源动态归还给YARN。
你可以在hawq-site.xml中修改如下配置使之生效。

<property><name>hawq_global_rm_type</name><value>yarn</value></property>

hawq_global_rm_type默认值为none,指的是standalone模式。
配置为YARN模式后,你需要同时配置hawq-site.xml中的下面参数:

<property><name>hawq_rm_yarn_address</name><value>localhost:8032</value></property><property><name>hawq_rm_yarn_scheduler_address</name><value>localhost:8030</value></property><property><name>hawq_rm_yarn_queue_name</name><value>hawqque</value></property><property><name>hawq_rm_yarn_app_name</name><value>hawq</value></property>

如果你配置了YARN HA,你必须在$GPHOME/etc/yarn-client.xml中配置如下属性:
● yarn.resourcemanager.ha
● yarn.resourcemanager.scheduler.ha
例如:

<property><name>yarn.resourcemanager.ha</name><value>{0}:8032,{1}:8032</value></property><property><name>yarn.resourcemanager.scheduler.ha</name><value>{0}:8030,{1}:8030</value></property>

配置HA后,hawq_rm_yarn_address和hawq_rm_yarn_scheduler_address不再被使用。
当使用OushuDB YARN集成时,OushuDB只支持YARN CapacityScheduler。下面是YARN的一个典型配置:

# yarn-site.xml<property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>4GB</value></property><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>1</value></property>

yarn-site.xml配置了CapacityScheduler,并且配置了一个YARN container的内存和CPU大小。我们建议YARN container的 大小使用1GB/core,2GB/core或者4GB/core。这样的话可以减少碎片的出现。

# capacity-scheduler.xml<property><name>yarn.scheduler.capacity.root.queues</name><value>mrque1,mrque2,hawqque</value></property><property><name>yarn.scheduler.capacity.hawqque.maximum-applications</name><value>1</value></property><property><name>yarn.scheduler.capacity.hawqque.capacity</name><value>20</value></property><property><name>yarn.scheduler.capacity.hawqque.maximum-capacity</name><value>80</value></property><property><name>yarn.scheduler.capacity.hawqque.user-limit-factor</name><value>2</value></property><property><name>yarn.scheduler.capacity.mrque1.capacity</name><value>30</value></property><property><name>yarn.scheduler.capacity.mrque1.maximum-capacity</name><value>50</value></property><property><name>yarn.scheduler.capacity.mrque2.capacity</name><value>50</value></property><property><name>yarn.scheduler.capacity.mrque2.maximum-capacity</name><value>50</value></property>

上面的例子中配置了3个YARN资源管理队列:mrque1,mrque2,hawqque。
在YARN模式下,OushuDB本身的资源管理队列的用法不变。用户依然可以安装前面几节的方法使用OushuDB资源队列。变得是OushuDB得到资源的方式。在Standalone模式下,OushuDB假设拥有整个集群资源,而在YARN模式下,OushuDB分配的资源需要从YARN申请。

目录
相关文章
OushuDB 管理指南之资源管理(下)
通常,一个查询的并行度会影响一个查询的性能以及系统的吞吐量。资源管理器分配给一个查询的virtual segment个数决定了一个查询的并行度。 一般情况下,用户不需要人为干预资源管理器对virtaul segment个数的分配,OushuDB资源管理器会很好的管理查询的并行度。但有些时候,用户可能想要控制一个查询的并发度,OushuDB提供了多个 可供用户调控的手段。
170 0
OushuDB  管理指南之资源管理(下)
OushuDB 管理指南之资源管理(中)
在资源队列树中,只有叶子节点可以关联用户接受查询。儿子节点的资源是从父节点中分配出来的。其中一个父节点的所有儿子节点的MEMORY_LIMIT_CLUSTER和 CORE_LIMIT_CLUSTER比例值之和必须小于等于100%。
112 0
OushuDB  管理指南之资源管理(中)
Oushu DB 管理指南之资源管理(上)
在任意时刻,OushuDB中可能有很多个并发的查询在运行。这些查询属于不同的用户。用户的优先级可能有高有低。我们需要一种方式 来合理的给各个用户分配其可以使用的系统资源,包括CPU和内存等。
132 0
Oushu DB  管理指南之资源管理(上)
|
存储 SQL 分布式计算
OushuDB 事物、资源管理、存储
事务是数据管理系统一个非常重要的属性。大部分Hadoop里面的SQL引擎不支持事务。让程序员自己保证事务和数据的一致性是非常困难的事。 OushuDB支持事务的所有ACID属性,支持Snapshot Isolation。事务发生由Master节点协调和控制。采用的是泳道模型。并发插入时每个并发会使用各自的泳道,互不冲突。在事务提交的时候通过记录文件逻辑长度的方式来保证一致性。如果事务失败的时候,需要回滚,删除文件末尾的垃圾数据。起初HDFS是不支持truncate的,现在HDFS刚支持的truncate功能是根据OushuDB的需求做出的。
164 0
OushuDB 事物、资源管理、存储
|
关系型数据库
openstack 命令行管理四 - 资源管理 (备忘)
 配额用于对每个 tenants 进行限制, 如浮动 IP, 内存, CPU, 磁盘, 密钥, 安全规则, 云硬盘等 资源管理帮助 [root@station140 ~(keystone_admin)]# nova help | grep quota quota-class-show List the quotas for a quota class.
1343 0
|
1月前
|
机器学习/深度学习 数据采集 算法框架/工具
使用Python实现深度学习模型:智能人力资源管理与招聘
【8月更文挑战第12天】 使用Python实现深度学习模型:智能人力资源管理与招聘
34 2
|
2月前
|
数据采集 监控 数据安全/隐私保护
ERP系统中的人力资源管理与员工绩效评估解析
【7月更文挑战第25天】 ERP系统中的人力资源管理与员工绩效评估解析
73 1
|
2月前
|
机器学习/深度学习 Oracle 安全
人力资源管理革新:6款系统一站式解决HR事务
**Zoho People、BambooHR、Workday、ADP Workforce Now和Oracle HCM Cloud是知名的人力资源管理系统。Zoho People提供模块化设计、移动应用和自动化工作流;BambooHR以用户友好界面和员工档案管理见长;Workday侧重全球化云解决方案和智能决策工具;ADP Workforce Now集成HR与薪资管理,强调合规性;Oracle HCM Cloud则以高度定制和分析工具闻名。这些系统各有特点,适用于不同规模和需求的企业。**
66 11
|
2月前
|
JavaScript Java 测试技术
基于springboot+vue.js+uniapp的人力资源管理系统附带文章源码部署视频讲解等
基于springboot+vue.js+uniapp的人力资源管理系统附带文章源码部署视频讲解等
26 2

热门文章

最新文章