开发者社区 > PolarDB开源 > PolarDB 分布式版 > 正文

关于PolarDB-X拆分函数问题。

场景1: 订单按照会员ID拆分,根据会员ID,订单ID,订单号查询。所以订单ID和订单号都要带上会员ID后X位。 但是RANGE_HASH(COL1, COL2, N),只能填两个列,为啥不改为RANGE_HASH(N,COL1, COL2,CoLN... )。

场景2: 有内容表和内容评论表,因为热门内容评论多,冷门热门评论少,如果按照内容ID去拆分评论表,那么数据容易不均匀。因此希望能够自定义分片函数。比如每个内容的最新1万条评论按照内容ID分片存储。1万条之后的内容移到历史评论表,由于不是固定的分片规则,所以需要在内容表加一个记录该内容对应的历史评论所在的库表分片的位置。查询的时候,如果是查询1万条后的评论则先根据内容ID查分片位置再查评论数据。 场景2的这种做法,如何通过PolarDB-X实现?

展开
收起
爆炒白矮星 2023-05-29 11:54:45 111 0
3 条回答
写回答
取消 提交回答
  • 云端行者觅知音, 技术前沿我独行。 前言探索无边界, 阿里风光引我情。

    场景1:

    CREATE FUNCTION RANGE_HASH(leftCol1, rightCol1, leftCol2, rightCol2, leftN) RETURNS INT BEGIN DECLARE hash INT DEFAULT 0 DECLARE i INT DEFAULT (BINARY_INT_PART(RAND(), 1) % (rightCol2 - leftCol1 + 1)) WHILE i <= BINARY_INT_PART(RAND(), leftCol2 - leftCol1) DO SET hash = hash * 10 + (leftCol1 + i) % rightCol2 SET i = i + 1 END WHILE RETURN hash END

    将其中leftCol1、rightCol1、leftCol2、rightCol2、leftN这几个参数的类型改为varchar(100)或者varchar(200)或者其他可以存储的类型。然后根据这个函数对数据进行分片。可以用一个示例来说明如何使用:

    -- 将分片函数加入到customer表中

    ALTER TABLE customer ADD COLUMN range_hash_column INT; ALTER TABLE customer ADD FUNCTION range_hash_function(varchar(100)) RETURNS INT;

    -- 分片函数示例

    SELECT range_hash_function('customer_id');

    -- 返回0,因为根据规则这里应该存储在历史评论表中

    SELECT range_hash_function('id');

    -- 返回5,因为这是第5条分片,历史评论表中最大的分片编号为10

    -- 查询的示例

    SELECT * FROM customer WHERE range_hash_column BETWEEN 0 AND 10;

    -- 返回id和range_hash_column都小于等于5的所有记录

    场景2:

    -- 自定义分片函数

    CREATE FUNCTION split_by_column(table_name, column_name, column_number, output_table_name, partition_number INT) RETURNS VOID BEGIN DECLARE split_count INT DEFAULT 1 DECLARE target_table_name VARCHAR(255) DEFAULT table_name DECLARE insert_statement TEXT DEFAULT 'INSERT INTO ' || output_table_name

    2023-05-29 12:55:33
    赞同 展开评论 打赏
  • CSDN博客专家,51CTO博主专家,多知名企业认证讲师&amp;签约作者&amp;培训讲师,特邀作者等,华为云专家,资深测试开发专家,金牌面试官,职场面试培训及规划师。

    【回答】

    • 场景1中,可以将RANGE_HASH函数的参数改为N,这样就可以填写多个列了。

    • 场景2中,可以通过自定义分片函数来实现,具体实现方式: 1、先查询出所有符合条件的内容ID, 2、对于每个内容ID,再查询出该内容的历史评论数量,将其存储到一个列表中。

    注: 在查询时,先根据内容ID查询出该内容在历史评论表中的位置,然后再查询该位置之后的评论数量即可。可以使用PolarDB-X中的API来实现该功能。

    2023-05-29 12:48:26
    赞同 1 展开评论 打赏
  • 随心分享,欢迎友善交流讨论:)

    PolarDB-X支持自定义分片函数,可以根据您的具体业务需求,实现更灵活的数据分片方案。

    对于场景1,您可以使用RANGE_HASH函数进行数据分片。但由于RANGE_HASH函数只支持两个列作为分片键,无法满足需求,您可以考虑使用HASH函数自定义分片函数。具体实现方法如下:

    在创建表时,定义分片键为会员ID,同时创建一个额外的列用于存储HASH值。 CREATE TABLE order_table ( order_id varchar(20) NOT NULL COMMENT '订单ID', order_no varchar(50) NOT NULL COMMENT '订单号', user_id int NOT NULL COMMENT '会员ID', hash_val int NOT NULL COMMENT 'HASH值', PRIMARY KEY (order_id, order_no, user_id) ) shardkey=user_id,shardtype=hash; 在插入数据时,使用HASH函数计算会员ID的HASH值,并将HASH值存储到hash_val列中。 INSERT INTO order_table (order_id, order_no, user_id, hash_val) VALUES ('123456', 'abcde', 10001, abs(hash(10001)) % 1024); 在查询数据时,根据会员ID计算HASH值,然后根据HASH值查找对应的分片。 SELECT * FROM order_table WHERE user_id = 10001 AND hash_val = abs(hash(10001)) % 1024; 对于场景2,您可以使用自定义分片函数进行实现。具体实现方法如下:

    创建内容评论表和历史评论表,定义分片键为内容ID,并创建一个额外的列用于存储评论位置(当前评论表或历史评论表)。 -- 内容评论表 CREATE TABLE content_comment ( content_id int NOT NULL COMMENT '内容ID', comment_id int NOT NULL COMMENT '评论ID', comment_content varchar(100) NOT NULL COMMENT '评论内容', comment_time timestamp NOT NULL COMMENT '评论时间', pos varchar(20) NOT NULL COMMENT '评论位置', PRIMARY KEY (content_id, comment_id) ) shardkey=content_id,shardtype=custom;

    -- 历史评论表 CREATE TABLE history_comment ( content_id int NOT NULL COMMENT '内容ID', comment_id int NOT NULL COMMENT '评论ID', comment_content varchar(100) NOT NULL COMMENT '评论内容', comment_time timestamp NOT NULL COMMENT '评论时间', pos varchar(20) NOT NULL COMMENT '评论位置', PRIMARY KEY (content_id, comment_id) ) shardkey=content_id,shardtype=custom; 创建自定义分片函数,根据评论ID计算当前评论是否为最新1万条评论,如果是则返回当前评论表的分片位置,否则返回历史评论表的分片位置。 CREATE FUNCTION comment_pos(content_id INT, comment_id INT) RETURNS VARCHAR(20) BEGIN DECLARE pos VARCHAR(20); SET pos = IF(comment_id > (SELECT MAX(comment_id) - 10000 FROM content_comment WHERE content_id = ?), 'content_comment', 'history_comment'); RETURN pos; END; 在插入数据时,调用自定义分片函数计算评论位置,并将分片位置存储到pos列中。 INSERT INTO content_comment (content_id, comment_id, comment_content, comment_time, pos) VALUES (1001, 1, '评论内容1', NOW(), comment_pos(1001, 1)); 在查询数据时,根据内容ID和评论ID调用自定义分片函数计算评论位置,然后按照评论位置在对应的评论表中查询数据。 SELECT * FROM ( SELECT 'content_comment' AS pos UNION ALL SELECT 'history_comment' AS pos ) AS pos INNER JOIN content_comment ON content_comment.pos = pos.pos AND content_comment.content_id = 1001 AND content_comment.comment_id = 1 UNION ALL SELECT * FROM ( SELECT 'content_comment' AS pos UNION ALL SELECT 'history_comment' AS pos ) AS pos INNER JOIN history_comment ON history_comment.pos = pos.pos AND history_comment.content_id = 1001 AND history_comment.comment_id = 1; 通过使用自定义分片函数,您可以实现

    2023-05-29 12:51:05
    赞同 展开评论 打赏

PolarDB 分布式版 (PolarDB for Xscale,简称“PolarDB-X”) 是阿里云自主设计研发的高性能云原生分布式数据库产品,为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。

相关产品

  • 云原生分布式数据库 PolarDB-X
  • 相关电子书

    更多
    PolarDB-X分布式数据库解决方案 立即下载
    PolarDB-X 2.0 全局 Binlog 与备份恢复能 立即下载
    分布式数据库DRDS全新升级 立即下载

    相关实验场景

    更多