Django项目自定义存储之fastDFS

简介: FastDFS是一个开源的轻量级分布式文件系统,这里介绍FastDFS和Django项目的融合

环境准备

  • docker安装

在虚拟机安装docker后,执行下面的命令

# 下载fastDFS镜像
docker image pull delron/fastdfs
# 运行tracker
docker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker
# 运行storage(TRACKER_SERVER这里使用ifconfig命令查看虚拟机的内网地址,不要使用本地地址127.0.0.1)
docker run -dti --network=host --name storage -e TRACKER_SERVER=10.211.55.5:22122 -v /var/fdfs/storage:/var/fdfs delron/fastdfs storage
# 查看镜像是否在运行
docker ps
# 查看镜像logs,无error即可
docker logs tracker
docker logs storage
  • pip安装

安装相关pip第三方包

pip install py3fdfs
pip install mutagen
pip isntall requests

本地测试

对创建的fastDFS进行测试

  • 新建client.conf
base_path=utils/fastdfs/logs
tracker_server=10.211.55.5:22122
connect_timeout=60
  • 新建test.py
from fdfs_client.client import Fdfs_client
client = Fdfs_client('/utils/fastdfs/client.conf') # 注意要绝对路径
ret = client.upload_by_filename('/Users/delron/Desktop/1.png')
print(ret)
{'Group name': 'group1', 'Remote file_id': 'group1/M00/00/02/CtM3BVr-k6SACjAIAAJctR1ennA809.png', 'Status': 'Upload successed.', 'Local file name': '/Users/delron/Desktop/1.png', 'Uploaded size': '151.00KB', 'Storage IP': '10.211.55.5'}

Django配置

在apps下面新建utils文件夹,并在utils新建fastdfs文件夹(可根据个人项目需要建立)

  • setting.py
# 自定义文件系统
# django文件存储
DEFAULT_FILE_STORAGE = 'apps.utils.fastdfs.fdfs_storage.FastDFSStorage'

# FastDFS
FDFS_URL = 'http://10.141.28.245:8888/'
FDFS_CLIENT_CONF = os.path.join(BASE_DIR, 'apps/utils/fastdfs/client.conf')
  • 新建client.conf
# 在utils/fastdfs下新建文件client.conf
base_path = /web/logs
tracker_server = 10.141.28.245:22122
connect_timeout = 60
  • 新建fdfs_storage.py
# 在utils/fastdfs下新建文件fdfs_storage.py
from django.conf import settings
from django.core.files.storage import Storage
from django.utils.deconstruct import deconstructible
from fdfs_client.client import Fdfs_client, get_tracker_conf
import os
import logging
log = logging.getLogger(__name__)

@deconstructible
class FastDFSStorage(Storage):
    def __init__(self, base_url=None, client_conf=None):
        """
        初始化
        :param base_url: 用于构造图片完整路径使用,图片服务器的域名
        :param client_conf: FastDFS客户端配置文件的路径
        """
        if base_url is None:
            base_url = settings.FDFS_URL
        self.base_url = base_url
        if client_conf is None:
            client_conf = settings.FDFS_CLIENT_CONF
        self.client_conf = client_conf

    def _open(self, name, mode='rb'):
        """
        用不到打开文件,所以省略
        """
        pass

    def _save(self, name, content):
        '''_save方法'''
        conf_path = get_tracker_conf(self.client_conf)
        client = Fdfs_client(conf_path)
        imgdir = f'{os.path.join(settings.BASE_DIR, "apps/utils/fastdfs")}/tmp.{str(name).split(".")[1]}'
        with open(imgdir, "wb+") as f:
            f.write(content.read())
        result = client.upload_by_filename(imgdir)
        os.remove(imgdir)
        if result.get('Status') != 'Upload successed.':
            logging.error('上传文件到FastDFS失败')
            raise Exception('上传文件到FastDFS失败')
        filename = result.get('Remote file_id')
        return filename.decode()

    def url(self, name):
        """
        返回文件的完整URL路径
        :param name: 数据库中保存的文件名
        :return: 完整的URL
        """
        return self.base_url + name

    def exists(self, name):
        """
        判断文件是否存在,FastDFS可以自行解决文件的重名问题
        所以此处返回False,告诉Django上传的都是新文件
        :param name:  文件名
        :return: False
        """
        return False

相关错误

  • configparser.NoOptionError: No option 'connect_timeout' in section: '__config__'

该错误在于client.conf中没有配置connect_timeout超时时间或者配置文件的地址不正确。解决:在client.conf中添加connect_timeout=10后若仍报错,卸载原有的pip包,pip安装py3fdfs即可

  • TypeError: type object argument after ** must be a mapping, not str

卸载原有的pip包,pip安装py3fdfs即可,或者使用from fdfs_client.client import get_tracker_conf引入配置文件

参考文档

相关文章
|
23天前
|
存储 缓存 前端开发
Django 后端架构开发:存储层调优策略解析
Django 后端架构开发:存储层调优策略解析
36 2
|
3月前
|
前端开发 JavaScript 数据安全/隐私保护
计算机Python项目|django学生成绩管理系统
计算机Python项目|django学生成绩管理系统
|
21天前
|
安全 数据库 数据安全/隐私保护
|
1月前
|
运维 Devops 测试技术
一个人活成一个团队:python的django项目devops实战
DevOps通过自动化的流程,使得构建、测试、发布软件能够更加地快捷、频繁和可靠。本文通过一个python的django个人博客应用进行了DevOps的实战,通过DevOps拉通开发和运维,通过应用云效的DevOps平台实现自动化“软件交付”的流程,使得构建、测试、发布软件能够更加地快捷、频繁和可靠,提交研发交付效率。作为个人项目也是可以应用devops提高效率。
35 3
|
21天前
|
SQL Shell API
python Django教程 之 模型(数据库)、自定义Field、数据表更改、QuerySet API
python Django教程 之 模型(数据库)、自定义Field、数据表更改、QuerySet API
|
23天前
|
JSON API 数据安全/隐私保护
Django 后端架构开发:JWT 项目实践与Drf版本控制
Django 后端架构开发:JWT 项目实践与Drf版本控制
31 0
|
23天前
|
中间件 API 网络架构
Django后端架构开发:从匿名用户API节流到REST自定义认证
Django后端架构开发:从匿名用户API节流到REST自定义认证
13 0
|
27天前
|
存储 前端开发 Serverless
中后台前端开发问题之Django项目中接收和处理用户的抽奖请求如何解决
中后台前端开发问题之Django项目中接收和处理用户的抽奖请求如何解决
12 0
|
2月前
|
安全 前端开发 API
震惊!掌握Django/Flask后,我竟然轻松征服了所有Web项目难题!
【7月更文挑战第15天】Python Web开发中,Django以其全面功能见长,如ORM、模板引擎,助你驾驭复杂需求;Flask则以轻量灵活取胜,适合快速迭代。两者结合使用,无论是数据库操作、用户认证还是API开发,都能让你应对Web挑战游刃有余。掌握这两者,Web项目难题变得易如反掌!
63 10
|
2月前
|
ARouter 关系型数据库 MySQL
Django项目同时连接多个不同的数据库(7)
【7月更文挑战第7天】在Django项目中配置连接多个数据库,你需要: 1. 在`settings.py`中配置多个数据库, 2. 在`settings.py`内设置数据库路由,指定每个应用使用的数据库,
112 2