用uid分库,uname上的查询怎么办?-阿里云开发者社区

开发者社区> 初商> 正文

用uid分库,uname上的查询怎么办?

简介: 用户中心是几乎每一个公司必备的基础服务,用户注册、登录、信息查询与修改都离不开用户中心。
+关注继续查看

【缘起】

用户中心是几乎每一个公司必备的基础服务,用户注册、登录、信息查询与修改都离不开用户中心。

当数据量越来越大时,需要多用户中心进行水平切分。最常见的水平切分方式,按照uid取模分库:

image.png

通过uid取模,将数据分布到多个数据库实例上去,提高服务实例个数,降低单库数据量,以达到扩容的目的。

水平切分之后:

image.png

uid属性上的查询可以直接路由到库,如上图,假设访问uid=124的数据,取模后能够直接定位db-user1。

对于uname上的查询,就不能这么幸运了:

image.png
uname上的查询,如上图,假设访问uname=shenjian的数据,由于不知道数据落在哪个库上,往往需要遍历所有库【扫全库法】,当分库数量多起来,性能会显著降低。

用uid分库,如何高效实现上的查询,是本文将要讨论的问题。

【索引表法】

思路:uid能直接定位到库,uname不能直接定位到库,如果通过uname能查询到uid,问题解决

解决方案:

1)建立一个索引表记录uname->uid的映射关系

2)用uname来访问时,先通过索引表查询到uid,再定位相应的库

3)索引表属性较少,可以容纳非常多数据,一般不需要分库

4)如果数据量过大,可以通过uname来分库

潜在不足:多一次数据库查询,性能下降一倍

【缓存映射法】

思路:访问索引表性能较低,把映射关系放在缓存里性能更佳

解决方案:

1)uname查询先到cache中查询uid,再根据uid定位数据库

2)假设cache miss,采用扫全库法获取uname对应的uid,放入cache

3)uname到uid的映射关系不会变化,映射关系一旦放入缓存,不会更改,无需淘汰,缓存命中率超高

4)如果数据量过大,可以通过name进行cache水平切分

潜在不足:多一次cache查询

【uname生成uid】

思路:不进行远程查询,由uname直接得到uid

解决方案:

1)在用户注册时,设计函数uname生成uid,uid=f(uname),按uid分库插入数据

2)用uname来访问时,先通过函数计算出uid,即uid=f(uname)再来一遍,由uid路由到对应库

潜在不足:该函数设计需要非常讲究技巧,有uid生成冲突风险

【uname基因融入uid】

思路:不能用uname生成uid,可以从uname抽取“基因”,融入uid中

image.png
假设分8库,采用uid%8路由,潜台词是,uid的最后3个bit决定这条数据落在哪个库上,这3个bit就是所谓的“基因”。

解决方案:

1)在用户注册时,设计函数uname生成3bit基因,uname_gene=f(uname),如上图粉色部分

2)同时,生成61bit的全局唯一id,作为用户的标识,如上图绿色部分

3)接着把3bit的uname_gene也作为uid的一部分,如上图屎黄色部分

4)生成64bit的uid,由id和uname_gene拼装而成,并按照uid分库插入数据

5)用uname来访问时,先通过函数由uname再次复原3bit基因,uname_gene=f(uname),通过uname_gene%8直接定位到库

【总结】

业务场景:用户中心,数据量大,通过uid分库后,通过uname路由不到库

解决方案:

1)扫全库法:遍历所有库

2)索引表法:数据库中记录uname->uid的映射关系

3)缓存映射法:缓存中记录uname->uid的映射关系

4)uname生成uid

5)uname基因融入uid

==【完】==

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
闪回的用途与实战(闪回表,闪回删除,闪回重名删除,闪回版本查询)
闪回可以做的操作有如下几种类型:1、当数据错误删除,并且提交时(flashback table)2、当错误删除了一张表drop table(flashback drop)3、通过闪回获取表的历史记录(flashback version query)4、当错误地执行了一个事务,并且提交了(flashback transaction query)5、将整个数据库进行恢复。 使用闪回条件:1、切换到
1535 0
国内物流快递单号查询接口种类及对接方法
快递查询API接口是使用的物流单号即可实现查询物流信息。主要应用在电商商城、ERP系统商、WMS系统商、快递柜、银行等企业。多家快递物流公司接口统一接入,建议对接接口提供商,一次性可以接入多家快递,在后期的技术维护也会省下很多工作。
2871 0
以百度天气预报查询API 服务为例,创建Jmeter JavaSampler请求范例
最近在整理性能测试的一些入门文章,给同事们分享,介绍API 接口自动化和性能测试入门。 下面将以百度天气预报查询API 服务为例,创建Java API 请求范例。 1. API 服务信息 参考文档:https://blog.
2285 0
关于使用CTE(公用表表达式)的递归查询
本文转载:http://www.cnblogs.com/shuangnet/archive/2013/03/22/2975929.html  公用表表达式 (CTE) 具有一个重要的优点,那就是能够引用其自身,从而创建递归 CTE。
771 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
3973 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7623 0
Android应用生死轮回的那些事儿(4) - 武器库(2)-应用组件查询相关API
这一节我们将学习: 如何查询系统中安装了哪些应用 如何获取一个包的信息 如何获取一个Application的信息 如何获取系统中安装的所有的ContentProvider的信息 如何获取一个uid中运行的所有的包 如何查询一个uid的进程名
2883 0
+关注
770
文章
584
问答
来源圈子
更多
阿里云最有价值专家,简称 MVP(Most Valuable Professional),是专注于帮助他人充分了解和使用阿里云技术的意见领袖阿里云 MVP 奖项为我们提供了这样一个机会,向杰出的意见领袖表示感谢,更希望通过 MVP 将开发者的声音反映到我们的技术路线图上。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载