第三章:OceanBase产品家族及基础概念

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 第三章:OceanBase产品家族及基础概念

1.产品家族

OceanBase数据库内核


高扩展(水平扩展,按需缩扩容,单集群突破)

高可用(基于Paxos协议,强一致性,副本故障但是数据不丢,RPO=0;RTO<30s)

多租户(DBaas架构,资源隔离,自动负载均衡)

高性能(峰值6100万次/秒,单表最大3200亿行,准内存处理性能)

高兼容(Oracle/MySQL两种兼容模式,降低业务迁移改造成本)

高透明(全局一致性,全局索引,自动事务两阶段提交)

 ODC六大核心功能:

1.企业级特性分区支持:支持Ocean Base MySQL和Oracle模式下完整的分区类型。

2.数据库对象可视化管理:引导式创建和可视化修改各类数据库对象的服务。

3.资源性能查看:实时管控数据库会话访问,支持查看和终止会话,提供SQL执行计划和SQL调优指导服务。

4.数据库变量编辑支持:支持会话变量和系统全局变量的可视化修改,降低用户记忆变量的难度。

5.健全的控制台服务:WebSQL技术为开发人员提供SQL语法,支持PL对象及匿名块的编译、运行、调试。

6.数据导入导出支持:支持多种文件格式的导入和导出。

OMS核心功能:

支持多种类型数据源,兼容性评估和改造,一站式交互,多重数据校验。

利用OMS实现平滑去O迁移方案:数据实时同步+快速切换+回滚预案

2.安装部署

OceanBase支持多种部署形式

独立部署

服务器类型 数量 功能最低配置 性能最低配置
OCP管控服务器 1台 32C,128G,1.5TB存储 32C,128G,1.5TB SSD存储,万兆网卡
OceanBase服务器 3台 32C,128G,1.2TB存储 32C,256G,2TB SSD存储,万兆网卡

支持如下CPU及操作系统

X86系列;海光(Hygon 7185);海思(鲲鹏920);飞腾(FT1500a、FT2000)

CentOS,Red Hat,SUSE,Debian/Ubuntu,AliOS,中标麒麟NeoKylin V7u5,银河麒麟Kylin 4.0.2

OceanBase部署流程:

部署环境配置->部署OAT->部署OCP->部署OceanBase->部署OBProxy->创建租户->部署备份恢复服务->部署OMS/ODC

部署OceanBase集群:

可以在3台机器上部署集群,具有高可用能力,底层有OceanBase元数据集群,OCP集群自带高可用DNS服务器。

初始化OceanBase集群失败的常见原因:

1.机器间的时钟误差过大,利用ntpq、clock diff等命令检查机器之间的时钟差异。2.信息指定有误,zone名称有误。3.其他问题,硬件异常。

3.导入数据

Java数据库连接驱动

OceanBase实现了自己的JDBC驱动,使Java能够将SQL语句发送到OceanBase的MySQL租户和Oracle租户。OceanBase JDBC支持为Java暴露SQL数据类型、PL/SQL对象,并快速访问SQL数据。

数据迁移和同步:

数据从传统数据库迁移到OceanBase数据库上,可将数据导出为CSV文件,SQL文件,然后再导入到OceanBase中,也可使用DataX或OMS在传统数据库和OceanBase之间做在线数据迁移。

Load Data选项:

并行度:/*+parallel(N)*/指定加载数据的并行度,使用值范围是[0-租户的最大CPU数]

输入文件:INFILE’file_name’关键字指定输入文件的路径和文件名。

执行权限:授予权限才能访问机器上的文件。

重复数据处理:Load Data 语句会将出现把错误的数据记录到日志文件中。

目标表选项:INTO TABLE tbl_name 关键字用于指定目标表名称。

字段格式:Terminated By关键字用来指定字段的分隔符;Enclosed By指定开始和结束字段包含了特定的字符;Escaped By关键字用来指定字段中的通配符。

行格式:指定输入文件中每一行的开始和结束字符,通过Lines字句。其中Starting By用于指定每一行开始的字符,Terminated By用户指定每一行的结束字符。IGNORE number{LINES|ROWS}子句指定忽略掉输入文件的前number行数据。

4.基础概念

RootService总控服务(RS):

OceanBase的“总控服务”:核心模块,管理整个集群。集群内置服务,无需额外硬件部署。自带高可用能力,无单点故障风险。

核心功能:系统初始化;系统元数据管理。资源分配及调度:分区及副本管理、动态负载均衡、扩容/缩容。全局DDL;集群数据合并。

多租户机制:

将数据库集群按指定规格划分成多个资源池,分配给不同的租户,租户之间资源隔离,一个应用占一个租户。

租户具有的特性:可以创建自己的用户,可以创建数据库、表等,有自己独立的information_schema等系统数据库,有自己独立的系统变量,数据库实例所具备的其他特性。

创建租户(使用OCP操作)


1·创建“资源单元规格”,create resource unit命令,指定资源单元的规格;

2·创建“资源池”,create resource pool命令,根据资源单元规格的定义创建资源单元,并付给一个新的资源池。

3·创建租户,create tenant命令,将资源池赋给一个新的租户;

查看系统日志:

OB Server 日志(/home/admin/oceanbase/log目录)

observer.log:observer运行时的日志文件;
rootsevice.log:observer上RootServer的日志文件
election.log:observer上选举模块的日志文件

控制OB Server日志文件个数

为了避免硬盘被日志填满,可以开启日志循环

Enable_syslog_recycle=True;max_syslog_file_count=<count>

日志级别

Syslog level=[DEBUG,TRACE,INFO,WARN,USER_ERR,ERROR]
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
关系型数据库 MySQL 数据库
实时计算 Flink版产品使用合集之支持将数据写入 OceanBase 数据库吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
NoSQL MongoDB 数据安全/隐私保护
实时计算 Flink版产品使用合集之与OceanBase进行数据同步时遇到用户名和密码失败的问题,该如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
SQL 数据处理 HIVE
实时计算 Flink版产品使用合集之将OceanBase的CDC数据导入到Flink SQL的任务的步骤是什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
数据库 OceanBase
OceanBase数据库是一个分布式集群产品,在部署时对硬件资源有特定的需求
OceanBase数据库是一个分布式集群产品,在部署时对硬件资源有特定的需求【1月更文挑战第12天】【1月更文挑战第56篇】
138 2
|
OceanBase
|
SQL 存储 运维
师文汇:OceanBase 4.0 产品核心能力解读
师文汇:OceanBase 4.0 产品核心能力解读
286 0
师文汇:OceanBase 4.0 产品核心能力解读
|
存储 SQL 容灾
OceanBase产品优势
OceanBase产品优势
273 0
|
SQL 缓存 OLAP
 OceanBase 3.2 版本产品功能升级:
 OceanBase 3.2 版本产品功能升级:
230 0
|
弹性计算 数据库 OceanBase
OceanBase 核心概念学习
随着 OceanBase 数据库的开源,越来越多的企业开始使用 OceanBase,也有很多个人、机构开始学习 OceanBase,我也是其中之一。后续计划将自己的学习经验陆续总结出来,欢迎大家一起讨论。考虑到数据库是一个博大精深的领域,如有写的不对的地方欢迎指正。
192 0
OceanBase 核心概念学习
|
2月前
|
Apache 流计算 OceanBase
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南

热门文章

最新文章