Django-Multitenant,分布式多租户数据库项目实战(Python/Django+Postgres+Citus)

简介: Django-Multitenant,分布式多租户数据库项目实战(Python/Django+Postgres+Citus)

Python/Django 支持分布式多租户数据库,如 Postgres+Citus

通过将租户上下文添加到您的查询来实现轻松横向扩展,使数据库(例如 Citus)能够有效地将查询路由到正确的数据库节点。


构建多租户数据库的架构包括:为每个租户创建一个数据库、为每个租户创建一个 schema 和让所有租户共享同一个表。这个库基于第三种设计,即让所有租户共享同一个表,它假设所有租户相关的模型/表都有一个 tenant_id 列来表示租户。


以下链接更多地讨论了何时以及如何为您的多租户数据库选择正确架构的权衡:

关于多租户的其他有用链接:

  1. https://www.citusdata.com/blog/2017/03/09/multi-tenant-sharding-tutorial/
  2. https://www.citusdata.com/blog/2017/06/02/scaling-complex-sql-transactions/


项目源码



https://github.com/citusdata/django-multitenant


安装



pip install --no-cache-dir django_multitenant


支持的 Django 版本/前提条件。



Python Django
3.X 2.2
3.X 3.2
3.X 4.0


用法



为了使用这个库,您可以使用 Mixins 或让您的模型从我们的自定义模型类继承。


模型变化


  1. 在要使用库的任何文件中导入它:


from django_multitenant.fields import *
from django_multitenant.models import *


  1. 所有模型都应继承 TenantModel 类。Ex: class Product(TenantModel):
  2. 定义一个名为 tenant_id 的静态变量,并使用该变量指定租户列。Ex: tenant_id='store_id'
  3. TenantModel 子类的所有外键都应使用 TenantForeignKey 代替 models.ForeignKey
  4. 实现上述 2 个步骤的示例模型:


class Store(TenantModel):
    tenant_id = 'id'
    name =  models.CharField(max_length=50)
    address = models.CharField(max_length=255)
    email = models.CharField(max_length=50)
  class Product(TenantModel):
    store = models.ForeignKey(Store)
    tenant_id='store_id'
    name = models.CharField(max_length=255)
    description = models.TextField()
    class Meta(object):
      unique_together = ["id", "store"]
  class Purchase(TenantModel):
    store = models.ForeignKey(Store)
    tenant_id='store_id'
    product_purchased = TenantForeignKey(Product)


使用 mixins 更改模型


  1. 在您要使用库的任何文件中,只需:


from django_multitenant.mixins import *


  1. 所有模型都应使用 TenantModelMixin 和 django models.Model 或您的客户模型类 Ex: class Product(TenantModelMixin, models.Model):
  2. 定义一个名为 tenant_id 的静态变量,并使用该变量指定租户列。Ex: tenant_id='store_id'
  3. TenantModel 子类的所有外键都应使用 TenantForeignKey 代替 models.ForeignKey
  4. 实现上述 2 个步骤的示例模型:


class ProductManager(TenantManagerMixin, models.Manager):
    pass
  class Product(TenantModelMixin, models.Model):
    store = models.ForeignKey(Store)
    tenant_id='store_id'
    name = models.CharField(max_length=255)
    description = models.TextField()
    objects = ProductManager()
    class Meta(object):
      unique_together = ["id", "store"]
  class PurchaseManager(TenantManagerMixin, models.Manager):
    pass
  class Purchase(TenantModelMixin, models.Model):
    store = models.ForeignKey(Store)
    tenant_id='store_id'
    product_purchased = TenantForeignKey(Product)
    objects = PurchaseManager()


db 层自动化复合外键:


  1. 使用 TenantForeignKey 在租户相关模型之间创建外键将自动将 tenant_id 添加到引用查询(例如 product.purchases)和连接查询(例如 product__name)。如果要确保在 db 层创建复合外键(带有 tenant_id),则应将 settings.py 中的数据库 ENGINE 更改为 django_multitenant.backends.postgresql


'default': {
      'ENGINE': 'django_multitenant.backends.postgresql',
      ......
      ......
      ......
    }


在哪里设置租户?


  1. 使用中间件编写身份验证逻辑,该中间件还为每个 session/request 设置/取消设置租户。这样,开发人员不必担心基于每个视图设置租户。只需在身份验证时设置它,库将确保其余部分(将 tenant_id 过滤器添加到查询中)。上面的示例实现如下:


from django_multitenant.utils import set_current_tenant
    class MultitenantMiddleware:
        def __init__(self, get_response):
            self.get_response = get_response
        def __call__(self, request):
            if request.user and not request.user.is_anonymous:
                set_current_tenant(request.user.employee.company)
            return self.get_response(request)


  1. 在您的设置中,您需要更新 MIDDLEWARE 设置以包含您创建的设置。


MIDDLEWARE = [
   # ...
   # existing items
   # ...
   'appname.middleware.MultitenantMiddleware'
]


  1. 在您希望基于租户范围的所有视图中使用 set_current_tenant(t)api 设置租户。这将自动(不指定显式过滤器)将所有 django API 调用范围限定为单个租户。如果未设置 current_tenant,则使用没有租户范围的 默认/原生 API。


支持的 API


  1. Model.objects.* 下的大部分 API
  2. Model.save() 为租户继承的模型注入 tenant_id


s=Store.objects.all()[0]
set_current_tenant(s)
#All the below API calls would add suitable tenant filters.
#Simple get_queryset()
Product.objects.get_queryset()
#Simple join
Purchase.objects.filter(id=1).filter(store__name='The Awesome Store').filter(product__description='All products are awesome')
#Update
Purchase.objects.filter(id=1).update(id=1)
#Save
p=Product(8,1,'Awesome Shoe','These shoes are awesome')
p.save()
#Simple aggregates
Product.objects.count()
Product.objects.filter(store__name='The Awesome Store').count()
#Subqueries
Product.objects.filter(name='Awesome Shoe');
Purchase.objects.filter(product__in=p);


相关文章
|
2月前
|
SQL 关系型数据库 数据库
Python SQLAlchemy模块:从入门到实战的数据库操作指南
免费提供Python+PyCharm编程环境,结合SQLAlchemy ORM框架详解数据库开发。涵盖连接配置、模型定义、CRUD操作、事务控制及Alembic迁移工具,以电商订单系统为例,深入讲解高并发场景下的性能优化与最佳实践,助你高效构建数据驱动应用。
378 7
|
3月前
|
数据采集 关系型数据库 MySQL
python爬取数据存入数据库
Python爬虫结合Scrapy与SQLAlchemy,实现高效数据采集并存入MySQL/PostgreSQL/SQLite。通过ORM映射、连接池优化与批量提交,支持百万级数据高速写入,具备良好的可扩展性与稳定性。
|
3月前
|
存储 数据库 开发者
Python SQLite模块:轻量级数据库的实战指南
本文深入讲解Python内置sqlite3模块的实战应用,涵盖数据库连接、CRUD操作、事务管理、性能优化及高级特性,结合完整案例,助你快速掌握SQLite在小型项目中的高效使用,是Python开发者必备的轻量级数据库指南。
335 0
|
7月前
|
SQL 数据库 开发者
Python中使用Flask-SQLAlchemy对数据库的增删改查简明示例
这样我们就对Flask-SQLAlchemy进行了一次简明扼要的旅程,阐述了如何定义模型,如何创建表,以及如何进行基本的数据库操作。希望你在阅读后能对Flask-SQLAlchemy有更深入的理解,这将为你在Python世界中从事数据库相关工作提供极大的便利。
694 77
|
6月前
|
Linux 数据库 数据安全/隐私保护
Python web Django快速入门手册全栈版,共2590字,短小精悍
本教程涵盖Django从安装到数据库模型创建的全流程。第一章介绍Windows、Linux及macOS下虚拟环境搭建与Django安装验证;第二章讲解项目创建、迁移与运行;第三章演示应用APP创建及项目汉化;第四章说明超级用户创建与后台登录;第五章深入数据库模型设计,包括类与表的对应关系及模型创建步骤。内容精炼实用,适合快速入门Django全栈开发。
293 1
|
8月前
|
前端开发 JavaScript 关系型数据库
基于python的租房网站-房屋出租租赁系统(python+django+vue)源码+运行
该项目是基于python/django/vue开发的房屋租赁系统/租房平台,作为本学期的课程作业作品。欢迎大家提出宝贵建议。
280 6
|
9月前
|
数据库 Python
【YashanDB知识库】python驱动查询gbk字符集崖山数据库CLOB字段,数据被驱动截断
【YashanDB知识库】python驱动查询gbk字符集崖山数据库CLOB字段,数据被驱动截断
|
9月前
|
机器学习/深度学习 分布式计算 API
Python 高级编程与实战:深入理解并发编程与分布式系统
在前几篇文章中,我们探讨了 Python 的基础语法、面向对象编程、函数式编程、元编程、性能优化、调试技巧、数据科学、机器学习、Web 开发、API 设计、网络编程和异步IO。本文将深入探讨 Python 在并发编程和分布式系统中的应用,并通过实战项目帮助你掌握这些技术。
|
9月前
|
消息中间件 分布式计算 并行计算
Python 高级编程与实战:构建分布式系统
本文深入探讨了 Python 中的分布式系统,介绍了 ZeroMQ、Celery 和 Dask 等工具的使用方法,并通过实战项目帮助读者掌握这些技术。ZeroMQ 是高性能异步消息库,支持多种通信模式;Celery 是分布式任务队列,支持异步任务执行;Dask 是并行计算库,适用于大规模数据处理。文章结合具体代码示例,帮助读者理解如何使用这些工具构建分布式系统。
|
11月前
|
分布式计算 DataWorks 数据处理
产品测评 | 上手分布式Python计算服务MaxFrame产品最佳实践
MaxFrame是阿里云自研的分布式计算框架,专为大数据处理设计,提供高效便捷的Python开发体验。其主要功能包括Python编程接口、直接利用MaxCompute资源、与MaxCompute Notebook集成及镜像管理功能。本文基于MaxFrame最佳实践,详细介绍了在DataWorks中使用MaxFrame创建数据源、PyODPS节点和MaxFrame会话的过程,并展示了如何通过MaxFrame实现分布式Pandas处理和大语言模型数据处理。测评反馈指出,虽然MaxFrame具备强大的数据处理能力,但在文档细节和新手友好性方面仍有改进空间。

推荐镜像

更多