OBCP第一章:OB分布式架构高级技术

简介: OBCP第一章:OB分布式架构高级技术

OB聚合资源的物理表示

OB聚合资源的逻辑表示

OB资源的分配流程

资源管理相关操作:资源单元

创建/修改资源单元

CREATE/ALTER RESOURCE UNIT unitname 
MAX_CPU [=] cpunum, 
MAX_MEMORY [=] memsize, 
MAX_IOPS [=] iopsnum, 
MAX_DISK_SIZE [=] disksize, 
MAX_SESSION_NUM [=] sessionnum, 
[MIN_CPU [=] cpunum,]
[MIN_MEMORY [=] memsize,] 
[MIN_IOPS [=] iopsnum];

删除资源单元

DROP RESOURCE UNIT unitname;

查看资源单元配置

SELECT * FROM __all_unit_config;

资源管理相关操作:资源单元操作示例

创建资源单元

create resource unit ut_5c2g max_cpu=2, max_memory='1G', max_iops=10000, 
max_disk_size='10G', max_session_num=1000000;

修改资源单元

alter resource unit ut_5c2g max_cpu=5, max_memory='2G';

查看资源单元配置

SELECT * FROM __all_unit_config;

删除资源单元

DROP RESOURCE UNIT ut_5c2g;

资源管理相关操作:资源池

创建源池

CREATE RESOURCE POOL poolname
UNIT [=] unitname, 
UNIT_NUM [=] unitnum,##取值要小于等于对应 Zone 中的 OBServer 个数
ZONE_LIST [=](‘zone’[,‘zone’…]);

修改资源池

ALTER RESOURCE POOL poolname 
UNIT [=] unitname, 
UNIT_NUM [=] unitnum, 
ZONE_LIST [=] (‘zone’ [, ‘zone’ …]);

查看资源池

SELECT * FROM __all_resource_pool;

查看资源池

SELECT * FROM __all_resource_pool;

资源管理相关操作:资源池操作示例

创建源池

create resource pool pl_5c2g unit=ut_2c2g, unit_num=1;

修改资源池

alter resource pool pl_5c2g unit=ut_5c2g;

查看资源池

SELECT * FROM __all_resource_pool;

删除资源池

DROP RESOURCE POOL poolname;

租户相关操作

新增租户

CREATE TENANT [IF NOT EXISTS] tenantname 
[tenant_characteristic_list] [opt_set_sys_var]
tenant_characteristic_list: 
tenant_characteristic [, tenant_characteristic...]
tenant_characteristic: 
COMMENT 'string' 
|{CHARACTER SET | CHARSET} [=] charsetname 
|COLLATE [=] collationname
|ZONE_LIST [=] (zone [, zone…]) 
|PRIMARY_ZONE [=] zone 
|DEFAULT TABLEGROUP [=] {NULL | tablegroup}
|RESOURCE_POOL_LIST [=](poolname [, poolname…])
|LOGONLY_REPLICA_NUM [=] num
|LOCALITY [=] 'locality description'
opt_set_sys_var:
{ SET | SET VARIABLES | VARIABLES } system_var_name = expr [,system_var_name = expr]

租户相关操作

修改租户

ALTER TENANT {tenant_name | ALL}
[SET] [tenant_option_list] [opt_global_sys_vars_set]
tenant_option_list:
tenant_option [, tenant_option ...]
tenant_option:
COMMENT [=]'string' 
|{CHARACTER SET | CHARSET} [=] charsetname 
|COLLATE [=] collationname 
|ZONE_LIST [=] (zone [, zone…]) 
|PRIMARY_ZONE [=] zone 
|RESOURCE_POOL_LIST [=](poolname [, poolname…]) 
|DEFAULT TABLEGROUP [=] {NULL | tablegroupname}
|{READ ONLY | READ WRITE}
|LOGONLY_REPLICA_NUM [=] num
|LOCALITY [=] 'locality description'
|LOCK|UNLOCK; 
opt_global_sys_vars_set:
VARIABLES system_var_name = expr [,system_var_name = expr]

租户相关操作

删除租户

DROP TENANT tenant_name [FORCE/PURGE]
延迟删除
    进入回收站
    DROP TENANT tenant_name;
    不进入回收站
    DROP TENANT tenant_name PURGE;
    立即删除
    DROP TENANT tenant_name FORCE;

查看租户

select * from __all_tenant;

租户相关操作示例

新增租户

create tenant obcp_t1 charset='utf8mb4', zone_list=('zone1,zone2,zone3'), 
primary_zone='zone1,zone2,zone3', resource_pool_list=('pl_5c2g') set 
ob_tcp_invited_nodes=‘%';

修改租户

ALTER TENANT obcp_t1 primary_zone='zone2';

查看租户

select * from __all_tenant;

删除租户

DROP TENANT obcp_t1 force;

资源分配情况

查看集群资源由各个节点的聚合情况

select zone,
concat(svr_ip, ':', svr_port) observer,
cpu_capacity,
cpu_total,
cpu_assigned,
cpu_assigned_percent,
mem_capacity,
mem_total,
mem_assigned,
mem_assigned_percent,
unit_Num,
round('load', 2) 'load',
round('cpu_weight', 2) 'cpu_weight',
round('memory_weight', 2) 'mem_weight',
leader_count
from __all_virtual_server_stat
order by zone, svr_ip;

创建租户时的资源分配


资源单元及租户的相关要点

资源单元是资源分配的最小单元,同一个Unit不能跨节点(OBServer)

每个租户在一台observer上只能有一个unit

Unit是数据的容器

一个租户可以拥有若干个资源池

一个资源池只能属于一个租户

资源单元是集群负载均衡的一个基本单位

创建租户分区表时的资源分配:租户有1个unit

每个分区有三个副本,默认leader副本提供 读写服务,follower副本不提供服务

每个分区的三副本内容是一样的

创建租户分区表时的资源分配:租户有多个Unit

                               

资源池及租户初始化成功(tnt_pay)

create tablegroup tgorder partition by hash partitions 3;

每个分区有三个副本,默认leader副本提供读写服务

同一个分区不能跨Unit,同一个分区表不同分区可以跨Unit

同一个分区不能跨Unit,同一个分区表不同分区可以跨Unit


租户扩容

租户扩容方法一:升级规格S2到S3

alter resource pool pool_mysql unit='S3’;

租户扩容方法二:增加Unit的数量

alter resource pool pool_mysql unit_num=2;

租户资源初始状态:unit_num=1

分区分布初始状态:t1,t3,t4

租户资源扩容:unit_num->2

分区复制,分区组聚合一起,Leader打散

切换分区服务

删除旧分区

分区是数据迁移的最小单元,同一个分区不能跨 Unit,不同分区可以跨Unit

同号分区组的分区稳定在同一个Unit内部

Zone管理及状态


新增ZONE(状态为Inactive)

ALTER SYSTEM ADD ZONE 'zone';


删除ZONE(无状态)

ALTER SYSTEM DELETE ZONE ‘zone';

上线ZONE(状态为Active)

ALTER SYSTEM START ZONE 'zonename';

下线ZONE(状态为Inative)

ALTER SYSTEM STOP ZONE ’zonename’;

Server管理及状态

添加Server(状态为Inactive,随后切为active[start_service_time>0])

ALTER SYSTEM ADD SERVER 'ip:port'[ZONE='zone_name'];

删除Server(状态为Deleting)

ALTER SYSTEM DELETE SERVER 'ip:port'[ZONE='zone_name'];

取消删除Server(状态为Active[start_service_time>0或stop_time>0])

ALTER SYSTEM CANCEL DELETE SERVER 'ip:port' [,'ip:port'…] 
[ZONE=’zone_name’];

Start Server (状态为Active[start_service_time>0且 Active[stop_time=0])

ALTER SYSTEM START SERVER 'ip:port' [,'ip:port'...] 
[ZONE='zone'];

Stop Server (状态为Active[stop_time>0])

ALTER SYSTEM STOP SERVER 'ip:port' [,'ip:port'...] [ZONE='zone'];

集群扩容

集群初始状态:2-2-2

Unit:每个Zone4个Unit

集群扩容:2-2-2->3-3-3

目标端创建新Unit

分区复制,角色切换

下线多余分区及Unit

Unit是资源调度的最小单元

图中Unit移动是示意图,实际细节是 目标端先创建Unit,然后分区复制和 切换

参数控制 enable_rebalance 和 enable_auto_leader_switch

OceanBase的资源弹性伸缩与负载均衡相关参数

负载均衡功能参数

enable_rebalance 是否开启自动负载均衡的功能

控制负载均衡时Partition迁移的速度和影响

migrate_concurrency 用于控制控制内部数据迁移的并发度

data_copy_concurrency 用于设置系统中并发执行的数据迁移复制任务的最大并发数

server_data_copy_out_concurrency 用于设置单个节点迁出数据的最大并发数

server_data_copy_in_concurrency 用于设置单个节点迁入数据的最大并发数

查看业务租户内部所有leader副本的位置

select t5.tenant_name,t4.database_name,t3.tablegroup_name,t1.table_id,
t1.table_name,t2.partition_id,t2.role,t2.zone,
concat(t2.svr_ip,':',t2.svr_port) observer,
round(t2.data_size / 1024 / 1024) data_size_mb,
t2. row_count
from __all_virtual_table t1
join gv$partition t2
on (t1.tenant_id = t2.tenant_id and t1.table_id = t2.table_id)
left join __all_tablegroup t3
on (t1.tenant_id = t3.tenant_id and t1.tablegroup_id = t3.tablegroup_id)
join __all_database t4
on (t1.tenant_Id = t4.tenant_id and t1.database_id = t4.database_id)
join __all_tenant t5
on (t1.tenant_id = t5.tenant_id)
where t5.tenant_id = 1020
and t2.role = 1
order by t5.tenant_name,t4.database_name,
t3.tablegroup_name,t2.partition_id;

异地多活会有很多内部请求跨机房


相关文章
|
3月前
|
负载均衡 测试技术 调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
674 4
|
3月前
|
存储 缓存 安全
某鱼电商接口架构深度剖析:从稳定性到高性能的技术密码
某鱼电商接口架构揭秘:分层解耦、安全加固、性能优化三维设计,实现200ms内响应、故障率低于0.1%。详解三层架构、多引擎存储、异步发布、WebSocket通信与全链路防护,助力开发者突破电商接口“三难”困境。
|
4月前
|
数据采集 监控 JavaScript
移动端性能监控探索:鸿蒙 NEXT 探针架构与技术实现
阿里云 ARMS 团队倾力打造的鸿蒙 NEXT SDK,为鸿蒙应用提供了业界领先的全链路监控解决方案。这不仅仅是一个 SDK,更是您洞察用户体验、优化应用性能的智能伙伴。
662 37
|
3月前
|
缓存 Cloud Native 中间件
《聊聊分布式》从单体到分布式:电商系统架构演进之路
本文系统阐述了电商平台从单体到分布式架构的演进历程,剖析了单体架构的局限性与分布式架构的优势,结合淘宝、京东等真实案例,深入探讨了服务拆分、数据库分片、中间件体系等关键技术实践,并总结了渐进式迁移策略与核心经验,为大型应用架构升级提供了全面参考。
|
3月前
|
人工智能 自然语言处理 安全
AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教系统融合大语言模型、教育知识图谱、多模态交互与智能体架构,实现精准学情诊断、个性化辅导与主动教学。支持图文语音输入,本地化部署保障隐私,重构“教、学、评、辅”全链路,推动因材施教落地,助力教育数字化转型。(238字)
|
3月前
|
Java Linux 虚拟化
【Docker】(1)Docker的概述与架构,手把手带你安装Docker,云原生路上不可缺少的一门技术!
1. Docker简介 1.1 Docker是什么 为什么docker会出现? 假定您在开发一款平台项目,您的开发环境具有特定的配置。其他开发人员身处的环境配置也各有不同。 您正在开发的应用依赖于您当前的配置且还要依赖于某些配置文件。 您的企业还拥有标准化的测试和生产环境,且具有自身的配置和一系列支持文件。 **要求:**希望尽可能多在本地模拟这些环境而不产生重新创建服务器环境的开销 问题: 要如何确保应用能够在这些环境中运行和通过质量检测? 在部署过程中不出现令人头疼的版本、配置问题 无需重新编写代码和进行故障修复
393 3
|
4月前
|
Cloud Native API 开发者
Gemini 2.5 Flash 技术拆解:从 MoE 架构到阿里云生态落地指南
2025年9月,谷歌Gemini 2.5 Flash发布,性能提升5%、成本降24%,引发行业关注。其MoE架构、百万上下文与“思考”范式,助力阿里云开发者高效构建云原生应用。本文解析技术内核,结合汽车、物流等案例,提供落地指南与避坑建议,展望大模型与流计算融合前景。
536 6
|
3月前
|
存储 NoSQL 前端开发
【赵渝强老师】MongoDB的分布式存储架构
MongoDB分片通过将数据分布到多台服务器,实现海量数据的高效存储与读写。其架构包含路由、配置服务器和分片服务器,支持水平扩展,结合复制集保障高可用性,适用于大规模生产环境。
335 1
|
4月前
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统,Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制,帮助开发者构建可靠、可扩展的实时数据流处理系统。
429 4