Django-Multitenant,分布式多租户数据库项目实战(Python/Django+Postgres+Citus)

简介: Django-Multitenant,分布式多租户数据库项目实战(Python/Django+Postgres+Citus)

Python/Django 支持分布式多租户数据库,如 Postgres+Citus

通过将租户上下文添加到您的查询来实现轻松横向扩展,使数据库(例如 Citus)能够有效地将查询路由到正确的数据库节点。


构建多租户数据库的架构包括:为每个租户创建一个数据库、为每个租户创建一个 schema 和让所有租户共享同一个表。这个库基于第三种设计,即让所有租户共享同一个表,它假设所有租户相关的模型/表都有一个 tenant_id 列来表示租户。


以下链接更多地讨论了何时以及如何为您的多租户数据库选择正确架构的权衡:

关于多租户的其他有用链接:

  1. https://www.citusdata.com/blog/2017/03/09/multi-tenant-sharding-tutorial/
  2. https://www.citusdata.com/blog/2017/06/02/scaling-complex-sql-transactions/


项目源码



https://github.com/citusdata/django-multitenant


安装



pip install --no-cache-dir django_multitenant


支持的 Django 版本/前提条件。



Python Django
3.X 2.2
3.X 3.2
3.X 4.0


用法



为了使用这个库,您可以使用 Mixins 或让您的模型从我们的自定义模型类继承。


模型变化


  1. 在要使用库的任何文件中导入它:


from django_multitenant.fields import *
from django_multitenant.models import *


  1. 所有模型都应继承 TenantModel 类。Ex: class Product(TenantModel):
  2. 定义一个名为 tenant_id 的静态变量,并使用该变量指定租户列。Ex: tenant_id='store_id'
  3. TenantModel 子类的所有外键都应使用 TenantForeignKey 代替 models.ForeignKey
  4. 实现上述 2 个步骤的示例模型:


class Store(TenantModel):
    tenant_id = 'id'
    name =  models.CharField(max_length=50)
    address = models.CharField(max_length=255)
    email = models.CharField(max_length=50)
  class Product(TenantModel):
    store = models.ForeignKey(Store)
    tenant_id='store_id'
    name = models.CharField(max_length=255)
    description = models.TextField()
    class Meta(object):
      unique_together = ["id", "store"]
  class Purchase(TenantModel):
    store = models.ForeignKey(Store)
    tenant_id='store_id'
    product_purchased = TenantForeignKey(Product)


使用 mixins 更改模型


  1. 在您要使用库的任何文件中,只需:


from django_multitenant.mixins import *


  1. 所有模型都应使用 TenantModelMixin 和 django models.Model 或您的客户模型类 Ex: class Product(TenantModelMixin, models.Model):
  2. 定义一个名为 tenant_id 的静态变量,并使用该变量指定租户列。Ex: tenant_id='store_id'
  3. TenantModel 子类的所有外键都应使用 TenantForeignKey 代替 models.ForeignKey
  4. 实现上述 2 个步骤的示例模型:


class ProductManager(TenantManagerMixin, models.Manager):
    pass
  class Product(TenantModelMixin, models.Model):
    store = models.ForeignKey(Store)
    tenant_id='store_id'
    name = models.CharField(max_length=255)
    description = models.TextField()
    objects = ProductManager()
    class Meta(object):
      unique_together = ["id", "store"]
  class PurchaseManager(TenantManagerMixin, models.Manager):
    pass
  class Purchase(TenantModelMixin, models.Model):
    store = models.ForeignKey(Store)
    tenant_id='store_id'
    product_purchased = TenantForeignKey(Product)
    objects = PurchaseManager()


db 层自动化复合外键:


  1. 使用 TenantForeignKey 在租户相关模型之间创建外键将自动将 tenant_id 添加到引用查询(例如 product.purchases)和连接查询(例如 product__name)。如果要确保在 db 层创建复合外键(带有 tenant_id),则应将 settings.py 中的数据库 ENGINE 更改为 django_multitenant.backends.postgresql


'default': {
      'ENGINE': 'django_multitenant.backends.postgresql',
      ......
      ......
      ......
    }


在哪里设置租户?


  1. 使用中间件编写身份验证逻辑,该中间件还为每个 session/request 设置/取消设置租户。这样,开发人员不必担心基于每个视图设置租户。只需在身份验证时设置它,库将确保其余部分(将 tenant_id 过滤器添加到查询中)。上面的示例实现如下:


from django_multitenant.utils import set_current_tenant
    class MultitenantMiddleware:
        def __init__(self, get_response):
            self.get_response = get_response
        def __call__(self, request):
            if request.user and not request.user.is_anonymous:
                set_current_tenant(request.user.employee.company)
            return self.get_response(request)


  1. 在您的设置中,您需要更新 MIDDLEWARE 设置以包含您创建的设置。


MIDDLEWARE = [
   # ...
   # existing items
   # ...
   'appname.middleware.MultitenantMiddleware'
]


  1. 在您希望基于租户范围的所有视图中使用 set_current_tenant(t)api 设置租户。这将自动(不指定显式过滤器)将所有 django API 调用范围限定为单个租户。如果未设置 current_tenant,则使用没有租户范围的 默认/原生 API。


支持的 API


  1. Model.objects.* 下的大部分 API
  2. Model.save() 为租户继承的模型注入 tenant_id


s=Store.objects.all()[0]
set_current_tenant(s)
#All the below API calls would add suitable tenant filters.
#Simple get_queryset()
Product.objects.get_queryset()
#Simple join
Purchase.objects.filter(id=1).filter(store__name='The Awesome Store').filter(product__description='All products are awesome')
#Update
Purchase.objects.filter(id=1).update(id=1)
#Save
p=Product(8,1,'Awesome Shoe','These shoes are awesome')
p.save()
#Simple aggregates
Product.objects.count()
Product.objects.filter(store__name='The Awesome Store').count()
#Subqueries
Product.objects.filter(name='Awesome Shoe');
Purchase.objects.filter(product__in=p);


相关文章
|
3月前
|
SQL 关系型数据库 MySQL
乐观锁在分布式数据库中如何与事务隔离级别结合使用
乐观锁在分布式数据库中如何与事务隔离级别结合使用
|
23天前
|
SQL 关系型数据库 MySQL
乐观锁在分布式数据库中如何与事务隔离级别结合使用
乐观锁在分布式数据库中如何与事务隔离级别结合使用
|
2月前
|
消息中间件 canal 缓存
项目实战:一步步实现高效缓存与数据库的数据一致性方案
Hello,大家好!我是热爱分享技术的小米。今天探讨在个人项目中如何保证数据一致性,尤其是在缓存与数据库同步时面临的挑战。文中介绍了常见的CacheAside模式,以及结合消息队列和请求串行化的方法,确保数据一致性。通过不同方案的分析,希望能给大家带来启发。如果你对这些技术感兴趣,欢迎关注我的微信公众号“软件求生”,获取更多技术干货!
140 6
项目实战:一步步实现高效缓存与数据库的数据一致性方案
|
3月前
|
存储 SQL 分布式数据库
OceanBase 入门:分布式数据库的基础概念
【8月更文第31天】在当今的大数据时代,随着业务规模的不断扩大,传统的单机数据库已经难以满足高并发、大数据量的应用需求。分布式数据库应运而生,成为解决这一问题的有效方案之一。本文将介绍一款由阿里巴巴集团自主研发的分布式数据库——OceanBase,并通过一些基础概念和实际代码示例来帮助读者理解其工作原理。
293 0
|
3月前
|
存储 监控 安全
阿里云数据库(ADB)的多租户秘籍:资源隔离的魔法如何施展?
【8月更文挑战第27天】多租户系统在云计算与大数据领域日益重要,它让不同用户或组织能在共享基础设施上独立运行应用和服务,同时确保资源隔离与安全。ADB(如阿里云数据库)通过资源组及标签实现高效多租户隔离。资源组作为一种软隔离策略,允许为不同租户分配独立的计算和存储资源,并设置资源上限;资源标签则支持更细粒度的硬隔离,可为每个数据库表或查询指定特定标签,确保资源有效分配。此外,ADB还提供了资源监控与告警功能,帮助管理员实时监控并调整资源分配,避免性能瓶颈。这种灵活且高效的资源隔离方案为多租户环境下的数据处理提供了强大支持。
139 0
|
4天前
|
关系型数据库 分布式数据库 数据库
PostgreSQL+Citus分布式数据库
PostgreSQL+Citus分布式数据库
31 15
|
4天前
|
存储 关系型数据库 数据库
Postgres数据库BRIN索引介绍
BRIN索引是PostgreSQL提供的一种高效、轻量级的索引类型,特别适用于大规模、顺序数据的范围查询。通过存储数据块的摘要信息,BRIN索引在降低存储和维护成本的同时,提供了良好的查询性能。然而,其适用场景有限,不适合随机数据分布或频繁更新的场景。在选择索引类型时,需根据数据特性和查询需求进行权衡。希望本文对你理解和使用PostgreSQL的BRIN索引有所帮助。
10 0
|
1月前
|
SQL 关系型数据库 分布式数据库
Citus 简介,将 Postgres 转换为分布式数据库
【10月更文挑战第4天】Citus 简介,将 Postgres 转换为分布式数据库
81 4
|
1月前
|
存储 关系型数据库 数据库
轻量级数据库的利器:Python 及其内置 SQLite 简介
轻量级数据库的利器:Python 及其内置 SQLite 简介
|
1月前
|
数据库连接 Linux 数据库
GBase 8s数据库连接 – Python
GBase 8s数据库连接 – Python