在上一篇文章,我介绍了CSV是什么?CSV有哪些优点?如何使用等等?并且最后我们用一个例子简单讲解了如何使用Python模块CSV进行导出后缀为.csv的文本文件。
具体文章参看:Python模块之CSV导出(一)
其实例子用于异步导出数据文件是够了,但工作中我们可能还需要结合我们Web框架进行更复杂的CSV导出。
所以今天我们的目的就是结合Python Django框架进行分享CSV导出的另外一种方式。
安装依赖
这里面我们需要安装一个第三方包djangorestframework-csv
:
方法如下,使用pip安装到你virtualenv构建的虚拟环境中,当然你如果使用了docker进行环境隔离这儿也可以直接安装你docker容器中。
$ pip install djangorestframework-csv
有些同学可能不太明白,明明是Django框架怎么和Django REST Framework(简称DRF)扯上关系了,简单解释一下,由于我们Django API开发常常配合DRF进行,所以一般都是一起安装使用了的,把Django和DRF结合起来整个RESTFul API开发效率能大大提高,建议稍微大一点工程化项目都去使用DRF。
使用
使用方式如下:
- 继承CSVRenderer 定义一个自己的Render类
- 将要生成CSV的字典数据传入该类的方法render方法
- 使用HttpResponse或者StreamingHttpResponse进行返回
看起来是不是简单方便,确实就是这么简单,下面我们看一个例子。
例子
废话不多说,直接上代码,先定义一个自己的CSV Render
# 定义CSV Render from rest_framework_csv import renderers class YourModelRender(renderers.CSVStreamingRenderer): header = [ 'phone', 'remark', 'create_time', ] labels = dict([ ('phone', u'联系电话'), ('remark', u'备注'), ('create_time', u'时间'), ])
这里使用label dict属性将自定义标签应用于CSVRenderer,其中每个键对应于表头header,值对应于该表头header的自定义标签,这样我们各个值就能和header对应起来。
Django导出的view方法,源码如下。
@list_route(methods=['get']) # 这是DRF生成URL的方式,没用过的可以忽略。 def example_export_csv(self): ''' CSV 案例 ''' queryset = YourModel.objects.all() renderer = YourModelRender() data = ( YourModelListSerializer(instance).data ## 得到字典数据 for instance in queryset ) response = StreamingHttpResponse( renderer.render(data), content_type='text/csv' ) response['Content-Disposition'] = 'attachment; filename="somefilename.csv"' return response
上面几行代码是不是看起来很简单,确实就是这么简单,简单的背后是rest_framework_csv帮我们做了导出功能,底层实现还是昨天我说的那种方式write,writerow的方式。
这里面简单解释一下:
- YourModelListSerializer写过DRF的同学知道这个就是定义数据处理逻辑校验,格式化什么等操作。这里面我们通过YourModelListSerializer复用了其他模块处理逻辑,如RRESTFul的列表数据展示。
- 这样大大减少了我们导出CSV还需要去重新处理多个字段组装,过滤,变换等逻辑。因为往往我们列表需要展示数据就是我们CSV要导出的数据。记得几年前那会儿导出数据还要自己重新组装数据,真是酸爽。
- 我们这儿用了StreamingHttpResponse,将文件内容进行流式传输,对于实时导出大文件,可以避免服务器断开连接。比起HttpResponse更节约内存。
其他
上面我们使用DRF,并且也用了看起来复杂的YourModelListSerializer这种复杂的概念,主要目的是让大家知道DRF的方式,至于普通使用Django其实我们完全可以把renderer.render(data)
换为上一篇文章
(writer.writerow(row) for row in rows)
这种形势。
关于CSV我们还可以用Django模板形式进行,和我们用rest_framework_csv模块思路差不多
简单给一个官方案例:
csv_data = ( ('First row', 'Foo', 'Bar', 'Baz'), ('Second row', 'A', 'B', 'C', '"Testing"', "Here's a quote"), ) t = loader.get_template('my_template_name.txt') # 定义模板代码 c = Context({ 'data': csv_data, }) response.write(t.render(c)) return response
虽然思路相似,但过程实现会麻烦较多,你要去切换模板代码书写,渲染,不推荐这种方式。
最后关于CSV我们就介绍到这里,结合上一篇主要两种方式:
- 普通CSV导出+Celery Beat定时导出
- Django + DRF + 实时导出
原理都是Python内置模块CSV的一些变换,只是结合第三库,让我们操作更快更方便起来。