AI 助理
文档备案控制台
开发者社区 数据库 文章 正文

淘宝数据库OceanBase SQL编译器部分 源码阅读--Schema模式

2014-06-19 2042
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 淘宝数据库OceanBase SQL编译器部分 源码阅读--Schema模式 什么是Database，什么是Schema，什么是Table，什么是列，什么是行，什么是User？我们可以可以把Database看作是一个大仓库，仓库分了很多很多的房间，Schema就是其中的房间，一个Schema代表一个房间，Table可以看作是每个Schema中的柜子，行和列就是柜子

淘宝数据库OceanBase SQL编译器部分 源码阅读--Schema模式

什么是Database，什么是Schema，什么是Table，什么是列，什么是行，什么是User？我们可以可以把Database看作是一个大仓库，仓库分了很多很多的房间，Schema就是其中的房间，一个Schema代表一个房间，Table可以看作是每个Schema中的柜子，行和列就是柜子中的格子。User就是房间的主人。简单来说，Schema是包括表，列，索引，视图等数据库对象的集合。

OceanBase中的强Schema

OceanBase要求schema强类型约束，也就是要预先定义好schema。这与传统的数据库基本相同，与很多nosql的schema-free大相径庭。
也就是说，OceanBase的数据模式是基于关系模型的。关系模型通过关系分解消除数据结构的复杂性，获得了对数据查询的能力和灵活性。而关系模型的缺点也是因为关系分解，使得在需要“组装”的数据时要进行join操作，而join则是相当耗时的操作。
大部分的NoSQl产品以MongoDb为代表，是基于文档模型的，类似json的bjson格式，因此可以存储比较复杂的数据类型，并且可以避免了join操作。在获得数据结构的可扩展性的同时，则失去了对通用数据查询语言（SQL）的支持。你需要重新学习这些NoSQL产品的查询语言。
关于关系数据库与NoSQL的对比，这里有一篇好文推荐给大家：

自由模式的MySQL vs NoSQL。

OceanBase中Schema的格式

根据OceanBase官方文档的介绍:
OceanBase 中的schema 表示为纯文本的ASCII码文件, 采用常见的配置文件的形式. 分成各个 section. 每个section 下有多个配置项, 配置项名称和配置值之间用”=”连接.

OceanBase 中 schema 是以应用为单位的, 一个应用一个schema文件. 一个应用中可以包含多张表, 每张表中可以包含多个列, 以及多个联表(join)关系.

我们以下面一个例子test1.ini文件来逐个梳理Schema的各个部分。文件内容如下：

[app_name]       
name=collect
max_table_id=1003

[u_collect_item_id]      
table_id=1001
table_type=1
column_info=1,2,item_name,int
column_info=1,3,new_price,varchar,20
rowkey_split=0
rowkey_max_length=9
max_column_id=3

[collect_info]
table_id=1002
table_type=2
column_info=1,2,item_name,int
column_info=1,3,item_price,varchar,20
rowkey_split=8
join=rowkey[8,16]%u_collect_item_id:item_name$item_name,item_price$new_price
rowkey_max_length=17
max_column_id=3

[collect_item_id]
table_id=1003
table_type=2
column_info=0,2,item_name,varchar,20
column_info=0,3,new_price,int
rowkey_split=0
rowkey_max_length=9
max_column_id=3


应用的信息

[app_name] section为应用的信息。其他section每一个代表一张表。
目前主要有两个配置项:
name :用来配置应用的名称, 是一个长度不超过128位的字符串.
max_table_id :用来记录当前已经使用的最大的table_id. 在OceanBase中, 每个表都由table_id唯一标识, 且table_id不可以被重复使用. max_table_id 这个配置项, 主要是为了方便 schema 生成程序记录已经使用过的table_id.

表的信息

Schema定义文件中，除了[app_name]外的其他section都是一张表的信息。 section名就是表名，因此上面文件中定义了3张表u_collect_item_id，collect_info，collect_item_id.
table_id :配置项配置了这张表在OceanBase系统中的唯一id, 由schema 生成工具自动生成. 在OceanBase系统中, id的取值范围是0-65535.系统会保留0-1000的table_id供系统自身使用.

table_type :用来配置表是内存表还是磁盘表. 因为一张表的动态数据存储在UpdateServer上,动态部分不受table_type影响, 所以table_type实际上表示了ChunkServer上的静态部分是放到内存中还是放到磁盘上. 该配置项取值为 1 的时候, 表示静态部分放到磁盘上, 为2的时候, 表示静态部分放到内存中.

rowkey_max_length :用来配置表中主键的最大长度.

rowkey_split :配置表在存储的时候的拆分限制. 因为一个表的数据可能放到多个tablet上存储, 这个值告诉ChunkServer, 在分裂数据到不同tablet时哪些数据是不应该被分开的, 比如, 当这个值为9的时候, 表示主键前9个字节完全相同的记录不应该被分到两个不同的tablet中.

max_column_id :配置本表中已经使用过的最大的列id, 由schema 生成程序维护并使用, 防止对列id的重用.

compress_func_name :可选项, 配置这个表在存储时使用的压缩算法名字.

block_size :可选项, 配置表在存储成sstable时,采用的block大小.

use_bloomfilter :可选项, 配置表是否使用布隆过滤器, 非零值为使用.

rowkey_is_fixed_length :可选项, 配置主键是否是固定长度值. 非零值表示主键是固定长度的. 如果不配置该项, 默认主键为固定长度.

列的配置

column_info :配置项中的内容是具体描述一列的, 用”,”分开, 其内容包含列属性, 列id, 列名, 列类型.

  • 列的属性：取值为0或者1. 为0表示该列只有动态数据(只存在于UpdateServer); 为1表示该列既有动态数据又有静态数据(既存在于UpdateServer 又存在于 ChunkServer).

  • 列id：是这个列在表中的唯一标识, 该值由schema生成程序生成, 不可以被重用. 列id必须大于1, 系统保留id为1的用于表示主键.

  • 列名：是一个长度不超过128位的字符串.

  • 类型：列的数据类型.

所以例子中的
column_info=1,3,item_price,varchar,20
表示 : 列名字是 item_price; id 是3; 静态数据放在磁盘上; 类型是 varchar, 长度是20个字符.

因为OceanBase的联表(join)设计,使得某些只有动态数据的列是有意义的, 这种列一般在转储过程中会通过join运算转储到其它表中.

联表(Join)关系的配置

联表(join)关系是OceanBase提供的简化关联查询的有力手段.
join :这个配置项里描述的是join关系的具体内容
我们看一个例子:
join=rowkey[8,16]% collect_item_info:item_name$item_name,item_price$new_price
这一行表示当前表的一个join关系.
join=rowkey[8,16]%collect_item_info 是表示用当前记录的主键的第8-16字节(闭区间) 与表collect_item_info 进行join操作. “:”后的内容表示具体发生join的列.
用”$”分开的两个列分别被称为参与join操作的左列和右列. join操作总是用右列的值合并到左列的值上, 然后将合并的结果返给用户(左列和右列的值都不发生变化, 合并只体现在反给用户的结果中).
所以上述的表达是说, 当访问当前表的时候, 如果访问到列 item_name 或者 item_price. 则需要以当前主键的 8-16 字节为主键查找表 collect_item_info. 如果查到记录, 则用其item_name 列的值与当前记录的item_name的值做合并, 用其new_price列的值与当前记录的item_price的值做合并, 将合并的结果作为最终值返给客户.

以上的格式介绍出自OceanBase的官方文档 doc/OceanBase的schema.docx

Schema的管理

以下讨论基于OceanBase0.3版本。
Schema由RootServer进行管理，包括Schema配置文件合Schema管理器两部分。RootServer可以通过 switch_schema 和 switch_schema_manager 来切换不同的schema配置文件和不同的schema管理器 ObSchemaManagerV2 。

 bool ObRootServer2::get_schema(ObSchemaManagerV2& out_schema) const;
    /* 从本地读取新schema, 判断兼容性 */
    int ObRootServer2::switch_schema(int64_t time_stamp, ObArray<uint64_t> &deleted_tables);
    void ObRootServer2::switch_schema_manager(ObSchemaManagerV2 *schema_manager);

Schema的代码组织

与配置文件的结构类似，表、列和join联表分别对应了3个类。

class ObJoinInfo;
class ObColumnSchemaV2;
class ObTableSchema;

（ 应用信息[app_name]的相关代码在哪？ ）

这三个类主要功能就是对配置文件中的各个属性进行get和set。各种属性在上节已经有较详细的介绍，不再重复。

Schema管理器

Schema管理器ObSchemaManagerV2负责管理每个Schema中的TableSchema,ColumnSchema,JoinInfo。拥有TableSchema,ColumnSchema,JoinInfo的get和set函数。
Schema管理器ObSchemaManagerV2对应了一个完整的Schema配置文件。可以从配置文件解析生成相应的TableSchema,ColumnSchema,JoinInfo。一个配置文件中可以配置多对张表，每个表有多个列，体现在数组table_infos_和columns上。，此外，还有两个ObHashMap结构以列Id和列名作为key，用于加速列的查询。

class ObSchemaManagerV2
{
public:
    /*省略其他方法，成员变量*/
    bool parse_from_file(const char* file_name, tbsys::CConfig& config);
    bool parse_one_table(const char* section_name, tbsys::CConfig& config, ObTableSchema& schema);
    bool parse_column_info(const char* section_name, tbsys::CConfig& config, ObTableSchema& schema);
    bool parse_join_info(const char* section_name, tbsys::CConfig& config, ObTableSchema& schema);
    bool parse_expire_info(const char* section_name, tbsys::CConfig& config, ObTableSchema& schema);
};
private:
    char app_name_[OB_MAX_APP_NAME_LENGTH];

    ObTableSchema    table_infos_[OB_MAX_TABLE_NUMBER];
    ObColumnSchemaV2* columns_;

    hash::ObHashMap<ObColumnNameKey,ObColumnInfo,hash::NoPthreadDefendMode> column_hash_map_;
    hash::ObHashMap<ObColumnIdKey,ObColumnInfo,hash::NoPthreadDefendMode> id_hash_map_;

    int64_t join_table_nums_;
    uint64_t join_tables_[OB_MAX_TABLE_NUMBER];


其他涉及Schema管理的模块

在OceanBase系统中，用户的读写事务都会发给MergeServer。MergeServer解析这些读写事务的内容，例如词法和语法分析、schema检查等。对于只读事务，由MergeServer发给相应的ChunkServer分别执行后再合并每个ChunkServer的执行结果；对于读写事务，由MergeServer进行预处理后，发送给UpdateServer执行。
因此在MergeServer中也存在一个Schema管理的接口ObMergerSchemaManage.

ObMergerSchemaManager管理SchemaManager，可以获取，添加和释放ObSchemaManagerV2，schema manager 最多有 MAX_VERSION_COUNT（默认为4）个 SchemaManager的实例。我们可以通过get_schema来获取Schema管理器ObSchemaManagerV2。还可以通过add_schema,release_schema来添加或释放ObSchemaManagerV2。如果实例到达上限时继续添加，则会删除最旧的一个实例，然后在添加新的SchemaManager实例。

const ObSchemaManagerV2 * get_schema(const ObString & table_name);
const ObSchemaManagerV2 * get_schema(const uint64_t table_id);

int add_schema(const ObSchemaManagerV2 & schema, const ObSchemaManagerV2 ** manager = NULL);
int release_schema(const ObSchemaManagerV2 * schema);


总结

与传统数据库类似，OceanBase要预先定义schema。采用ASCII配置文件对Schema进行配置。一个应用使用一个schema文件. 可以包含多张表, 每张表中可以包含多个列, 以及多个联表(join)关系.RootServer负责管理Schema配置和Schema管理器。

欢迎光临我的网站----蝴蝶忽然的博客园----人既无名的专栏。
如果阅读本文过程中有任何问题，请联系作者，转载请注明出处！

文章标签：
OceanBase
数据库
SQL
NoSQL
存储
关键词：
SQL数据库
数据库sql
SQL OceanBase
SQL模式
云数据库OceanBase数据库
曾经的学渣
目录
相关文章
游客vwx7bav3mqbk6
|
8月前
|
SQL Oracle 关系型数据库
MySQL的sql_mode模式说明及设置
MySQL的sql_mode模式说明及设置
游客vwx7bav3mqbk6
1221 112
游客guv2kz4qqvpn2
|
7月前
|
算法 数据挖掘 数据库
通过 SQL 快速使用 OceanBase 向量检索学习笔记
通过 SQL 快速使用 OceanBase 向量检索学习笔记
游客guv2kz4qqvpn2
428 0
嘟嘟嘟嘟嘟嘟
|
SQL 弹性计算 资源调度
云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
云服务器ECS（Elastic Compute Service）是各大云服务商阿里云提供的一种基础云计算服务，它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
嘟嘟嘟嘟嘟嘟
302 7
wljslmz
|
SQL 安全 数据库
SQL Server的身份验证模式：深入解析与更改指南
【8月更文挑战第31天】
wljslmz
1440 0
土木林森
|
SQL 数据处理 数据库
SQL正则表达式应用：文本数据处理的强大工具——深入探讨数据验证、模式搜索、字符替换等核心功能及性能优化和兼容性问题
【8月更文挑战第31天】SQL正则表达式是数据库管理和应用开发中处理文本数据的强大工具，支持数据验证、模式搜索和字符替换等功能。本文通过问答形式介绍了其基本概念、使用方法及注意事项，帮助读者掌握这一重要技能，提升文本数据处理效率。尽管功能强大，但在不同数据库系统中可能存在兼容性问题，需谨慎使用以优化性能。
土木林森
403 0
郑小健
|
SQL 关系型数据库 MySQL
OceanBase 的 SQL 兼容性与优化
【8月更文第31天】随着分布式计算的发展，越来越多的企业开始采用分布式数据库来满足其大规模数据存储和处理的需求。OceanBase 作为一款高性能的分布式关系数据库，其设计旨在为用户提供与传统单机数据库类似的 SQL 查询体验，同时保持高可用性和水平扩展能力。本文将深入探讨 OceanBase 的 SQL 引擎特性、兼容性问题，并提供一些针对特定查询进行优化的方法和代码示例。
郑小健
1145 0
公众号:码到三十五
|
关系型数据库 MySQL 数据库
深入OceanBase分布式数据库：MySQL 模式下的 SQL 基本操作
深入OceanBase分布式数据库：MySQL 模式下的 SQL 基本操作
公众号:码到三十五
1207 0
顾翔
|
7月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能（下）
使用MYSQL Report分析数据库性能
顾翔
499 158
翼龙云TG_yilongcloud
|
7月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程，需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS，可快速、平滑完成迁移任务，将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例，实现间接迁移上云。
翼龙云TG_yilongcloud
237 1
游客vphb4ae2je2zi
|
7月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格：MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB，多种引擎优惠上线！MySQL倚天版88元/年，SQL Server 2核4G仅299元/年，PostgreSQL 227元/年起。高可用、可弹性伸缩，安全稳定。详情见官网活动页。
游客vphb4ae2je2zi
1256 152

热门文章

最新文章

  • 1
    [转]从sql server 或 Access 中随即查询出几条数据
  • 2
    java.sql.SQLException: No operations allowed after statement closed.
  • 3
    Hive SQL 迁移 Flink SQL 在快手的实践
  • 4
    【RDS SQL Server】RDS使用SSRS（SQL Server Reporting Services）报表服务
  • 5
    SQL Server Alert发送告警邮件少了的原因
  • 6
    SQL Server 创建表分区
  • 7
    SQL对Xml字段的操作
  • 8
    Open SQL:5)Open SQL获取数据行数限制
  • 9
    面试官问：Mybatis Plus 是如何实现动态 SQL 语句的？原理你懂吗？
  • 10
    SQL Server 深入解析索引存储(聚集索引)
  • 1
    现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜！
    906
  • 2
    Python 操作 MySQL 数据库
    384
  • 3
    为什么数据库字符编码不一致会导致索引失效
    706
  • 4
    关系型数据库考虑索引的选择性
    407
  • 5
    关系型数据库选择正确的索引类型
    515
  • 6
    关系型数据库识别常查询字段
    551
  • 7
    SQL DB - 关系型数据库是如何工作的
    225
  • 8
    认识常见的一些数据库分类
    1715
  • 9
    关系型数据库中对索引的数目
    401
  • 10
    关系型数据库针对常查询的字段建立索引
    289

    • 相关课程

    更多
  • 如何在 PolarDB-X 中优化慢 SQL
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • SQL Server在电子商务中的应用与实践
  • GeoMesa on Spark SQL
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili

    • 推荐镜像

    更多
  • oceanbase
    • 下一篇
    阿里云重磅新品：Agent安全中心，全新安全框架下AI Agent一体化防御平台