Python模块之CSV导出(一)

简介: Python模块之CSV导出(一)

最近接触到CSV相关的导出需求,考虑到这是一个比较常用的需求,结合自己的一些思考实践,在这儿记录下来分享给大家。


CSV是什么?

按照我的理解,简单来说就是以逗号进行分隔我们的数据,是一种以.csv结尾的文本文件。

维基百科这样的解释:

CSV:逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)

纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据。


CSV的优点

看了定义我们知道CSV有如下优点:

  1. 适合存放结构化信息,较为通用(CSV通用标准并不存在)
  2. 数据体积更小,创建分方便(本身是文本格式对比Excel这一类数据本身带有格式)
  3. Windows环境下CSV默认打开方式是Excel。


模块介绍

因为这些优点,我们通常把CSV用在各个系统之间进行数据转移,为了方便大家理解及日常使用,我这里分享两种CSV导出的方式。

今天先给大家分享一种CSV导出的方式,也就是用Python内置CSV模块直接进行处理。

由于CSV模块的简单,我们常用模块主要用到 writerwriterow这两个方法。


其中writer方法主要返回一个writer对象,该对象负责在给定的类文件对象上将用户数据转换为带分隔符的字符串。

writerow将行参数写入写入器的文件对象,按照当前方言(dialect)进行格式化。


我就不详细介绍更多使用方法了,感兴趣的同学可以参考官方文档或者像我上篇文章那样,调出Alfred输入dash csv调出离线文档所有的资料都有了。参考「私货」你必须拥有的两款神器

当然你也可以用ipython进行shell环境进行查看学习:

image.png


一个例子

我们直接上一个CSV文件导出案例。

import csv    
    import codecs
    tests = models.Test.objects.all()
    filename = 'test.csv'
    with open(filename, 'wb') as test_file:
        headers = [ '性别','年龄','身份证',
        ]
        test_file.write(codecs.BOM_UTF8) # 解决乱码问题
        csvwriter = csv.writer(test_file, dialect='excel')
        csvwriter.writerow(headers)
        for test in tests:
            test_info = [
                str(test.sex),
                str(test.age),
                str(test.idcard),
            ]
            csvwriter.writerow(test_info)


上面只是一个简单的演示过程,在真实工程化情况中,我们需要考虑CSV导出的耗时问题,定时触发执行等等,所以可能需要加入Celery进行异步任务,执行过程考虑邮件发送带附件等等情况。


另外在上面的代码中需要注意的是,我在在文件中引入了codecs模块,并且添加了test_file.write(codecs.BOM_UTF8)这样一行代码,这个主要是解决Excel打开乱码的问题。


由于时间有限今天暂时给大家介绍第一种导出的情况,下次我们介绍另外一种方式进行CSV的导出,欢迎大家持续关注。

相关文章
|
11天前
|
安全 大数据 程序员
Python operator模块的methodcaller:一行代码搞定对象方法调用的黑科技
`operator.methodcaller`是Python中处理对象方法调用的高效工具,替代冗长Lambda,提升代码可读性与性能。适用于数据过滤、排序、转换等场景,支持参数传递与链式调用,是函数式编程的隐藏利器。
52 4
|
7月前
|
SQL 自然语言处理 数据库
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况:服务名对应多人拥有状态(1/0表示),以及服务名与人名重复列的情况,分别采用双层for循环和字典数据结构实现数据转换,最终生成Name对应的Services列表(逗号分隔)。此方法高效解决大量数据的人工处理难题,减少错误并提升效率。文中附带代码示例及执行结果截图,便于理解和实践。
164 4
|
2月前
|
存储 安全 数据处理
Python 内置模块 collections 详解
`collections` 是 Python 内置模块,提供多种高效数据类型,如 `namedtuple`、`deque`、`Counter` 等,帮助开发者优化数据处理流程,提升代码可读性与性能,适用于复杂数据结构管理与高效操作场景。
102 0
|
3月前
|
数据安全/隐私保护 Python
抖音私信脚本app,协议私信群发工具,抖音python私信模块
这个实现包含三个主要模块:抖音私信核心功能类、辅助工具类和主程序入口。核心功能包括登录
|
8月前
|
数据采集 JSON 测试技术
如何在Python中高效实现CSV到JSON的数据转换
在实际项目中,数据格式转换是常见问题,尤其从CSV到JSON的转换。本文深入探讨了多种转换方法,涵盖Python基础实现、数据预处理、错误处理、性能优化及调试验证技巧。通过分块处理、并行处理等手段提升大文件转换效率,并介绍如何封装为命令行工具或Web API,实现自动化批量处理。关键点包括基础实现、数据清洗、异常捕获、性能优化和单元测试,确保转换流程稳定高效。
377 83
|
6月前
|
Python
Python教程:os 与 sys 模块详细用法
os 模块用于与操作系统交互,主要涉及夹操作、路径操作和其他操作。例如,`os.rename()` 重命名文件,`os.mkdir()` 创建文件夹,`os.path.abspath()` 获取文件绝对路径等。sys 模块则用于与 Python 解释器交互,常用功能如 `sys.path` 查看模块搜索路径,`sys.platform` 检测操作系统等。这些模块提供了丰富的工具,便于开发中处理系统和文件相关任务。
237 14
|
10月前
|
Python
Python Internet 模块
Python Internet 模块。
210 74
|
7月前
|
人工智能 自然语言处理 Shell
[oeasy]python070_如何导入模块_导入模块的作用_hello_dunder_双下划线
本文介绍了如何在Python中导入模块及其作用,重点讲解了`__hello__`模块的导入与使用。通过`import`命令可以将外部模块引入当前环境,增强代码功能。例如,导入`__hello__`模块后可输出“Hello world!”。此外,还演示了如何使用`help()`和`dir()`函数查询模块信息,并展示了导入多个模块的方法。最后,通过一个实例,介绍了如何利用`jieba`、`WordCloud`和`matplotlib`模块生成词云图。总结来说,模块是封装好的功能部件,能够简化编程任务并提高效率。未来将探讨如何创建自定义模块。
84 8
|
7月前
|
缓存 Shell 开发工具
[oeasy]python071_我可以自己做一个模块吗_自定义模块_引入模块_import_diy
本文介绍了 Python 中模块的导入与自定义模块的创建。首先,我们回忆了模块的概念,即封装好功能的部件,并通过导入 `__hello__` 模块实现了输出 "hello world!" 的功能。接着,尝试创建并编辑自己的模块 `my_file.py`,引入 `time` 模块以获取当前时间,并在其中添加自定义输出。
102 5
|
8月前
|
Python API 监控
将Python CLI工具发布为pip模块的完整指南
注册PyPI账户 访问PyPI官网注册账户 推荐使用双因素认证增强安全性 生成API令牌 访问PyPI账户管理 生成具有"Upload packages"权限的令牌,妥善保存 确保模块名唯一性 在PyPI搜索页面验证模块名未被使用 建议使用小写字母和连字符的组合(如my-cli-tool)
147 9

推荐镜像

更多