python: BytesIO 中 read 用法

简介: python: BytesIO 中 read 用法

在用 Flask 写一个项目,后台管理用的插件暂时是 flask-admin。想实现的效果:在后台管理页面中,把提交到后端的图片不保存在 static 文件夹下面,而是通过后端代码把这个文件对象上传到 AWS 的 S3中存储。

通过flask-admin 上传到后端的文件对象的类型是:

FileStorage    # werkzeug.datastructures.FileStorage

# flask 中的 request.files 获取到的类型也是 FileStorage

所以先从提交到后端的 form 表单中获取到该文件对象,例如为: img_obj。 现在刚需要把类型为 FileStorage 的 img_obj 转化为 file-like object (AWS S3 boto3 中的 upload_fileobj 接口需要这样的参数)。转化的过程用到了 shutil 的copyfileobj 和 BytesIO, 如下:

from shutil import copyfileobj

temp_file = BytesIO()

copyfileobj(img_obj.stream, temp_file)    # img_obj.stream 应该是能获取到对象中的数据流; 然后把 imb_obj 中的数据流copy到 temp_file 中

然后,问题来了。 利用下面的 S3 upload_fileobj接口把文件上传到 S3后,对应的文件一直都是 0 比特。

代码如下:

from shutil import copyfileobj

temp_file = BytesIO()

copyfileobj(img_obj.stream, temp_file)

client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)        # 利用这个接口把文件上传到服务器后一直都是0比特

查询资料发现原因。

我们先来看下 shutil.copyfileobj 的源码:

'''
学习中遇到问题没人解答?
小编创建了一个Python学习交流群:711312441
'''
def copyfileobj(fsrc, fdst, length=16*1024):
    """copy data from file-like object fsrc to file-like object fdst"""
    while 1:
        buf = fsrc.read(length)
        if not buf:
            break
        fdst.write(buf)

"""
从上述代码的最后一行看,fdst.write(buf) ,此时写“文件”的游标已经到“文件”的最后
"""

我们再来看下面有关 BytesIO 的的一些用法:

In [1]: from io import BytesIO                                                                                                                                

In [2]: f = BytesIO()                                                                                                                                         

In [3]: f.write(b'abc')         # 把byte 写入到 f 中,此时 游标已经到f的最后位置                                                                                                                             
Out[3]: 3

In [4]: f.read()     # 由于此时游标是从f 的 最后的位置开始 read,那么后面的内容肯定是空                                                                                                                                        
Out[4]: b''

In [5]: f.tell()                                                                                                                                           
Out[5]: 3             # 说明游标是在f最后的位置 

In [6]: f.seek(0)        # 利用 seek(0) 把游标的位置放到f的 0 位置处                                                                                                                                
Out[6]: 0

In [7]: f.read()      # 此时再 read 就能看到全部内容                                                                                                                                        
Out[7]: b'abc'

"""
getvalue() 是获取全部内容;
read() 是从游标的当前位置往后读
"""

所以上面问题的原因也是:

copyfileobj 中的 fdst.write(buf) 写完后,此时游标在“文件”最后一个位置;而由于 S3 的 upload_fileobj 接口中的第一个参数是file-like object, 而且upload_fileobj会调用 这个 file-like object 的 read() 方法,read 出来的内容会上传到 S3 上。 所以,解决办法就是利用 seek(0) 把游标位置再次放到 0 处

正确代码如下:

from shutil import copyfileobj

temp_file = BytesIO()

copyfileobj(img_obj.stream, temp_file)

temp_file.seek(0)    # 让游标回到0处

client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)

或者直接把利用 FileStorage 的 stream 属性把文件上传到 S3,代码如下:

client.upload_fileobj(img_obj.stream, "bucket-name", Key="static/%s" % img_obj.filename)
相关文章
|
5月前
|
机器学习/深度学习 PyTorch 算法框架/工具
python torch基础用法
本教程系统讲解PyTorch基础,涵盖张量操作、自动求导、神经网络构建、训练流程、GPU加速及模型保存等核心内容,结合代码实例帮助初学者快速掌握深度学习开发基础,是入门PyTorch的实用指南。
712 6
|
7月前
|
Go 调度 Python
Golang协程和Python协程用法上的那些“不一样”
本文对比了 Python 和 Go 语言中协程的区别,重点分析了调度机制和执行方式的不同。Go 的协程(goroutine)由运行时自动调度,启动后立即执行;而 Python 协程需通过 await 显式调度,依赖事件循环。文中通过代码示例展示了两种协程的实际运行效果。
310 7
|
10月前
|
人工智能 数据库连接 API
掌握Python的高级用法:技巧、技术和实用性示例
本文分享了Python的高级用法,包括生成器、装饰器、上下文管理器、元类和并发编程等。生成器通过`yield`实现懒加载序列;装饰器用于增强函数功能,如添加日志或性能分析;上下文管理器借助`with`语句管理资源;元类动态定制类行为;并发编程利用`threading`和`asyncio`库提升任务执行效率。掌握这些高级概念可优化代码质量,解决复杂问题,提高程序性能与可维护性。
228 6
|
11月前
|
Python
Python教程:os 与 sys 模块详细用法
os 模块用于与操作系统交互,主要涉及夹操作、路径操作和其他操作。例如,`os.rename()` 重命名文件,`os.mkdir()` 创建文件夹,`os.path.abspath()` 获取文件绝对路径等。sys 模块则用于与 Python 解释器交互,常用功能如 `sys.path` 查看模块搜索路径,`sys.platform` 检测操作系统等。这些模块提供了丰富的工具,便于开发中处理系统和文件相关任务。
481 14
|
12月前
|
SQL Oracle 关系型数据库
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
|
12月前
|
SQL Oracle 关系型数据库
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
本文来自YashanDB官网,介绍如何处理Oracle客户端sql*plus中使用@@调用同级目录SQL脚本的场景。崖山数据库23.2.x.100已支持@@用法,但旧版本可通过Python脚本批量重写SQL文件,将@@替换为绝对路径。文章通过Oracle示例展示了具体用法,并提供Python脚本实现自动化处理,最后调整批处理脚本以适配YashanDB运行环境。
|
Python
Python三引号用法与变量详解
本文详细介绍了Python中三引号(`"""` 或 `'''`)的用法,包括其基本功能、如何在多行字符串中使用变量(如f-string、str.format()和%操作符),以及实际应用示例,帮助读者更好地理解和运用这一强大工具。
1594 2
|
缓存 测试技术 开发者
深入理解Python装饰器:用法与实现
【10月更文挑战第7天】深入理解Python装饰器:用法与实现
152 1
|
传感器 大数据 数据处理
深入理解Python中的生成器:用法及应用场景
【10月更文挑战第7天】深入理解Python中的生成器:用法及应用场景
615 1
|
Python
深入了解Python中星号变量的特殊用法
深入了解Python中星号变量的特殊用法
195 0

推荐镜像

更多