Python处理CSV文件

简介: Python处理CSV文件

在数据处理过程中,可能会需要采用筛选、提取、重新生成等方法来对数据进行处理,下面以csv文件为例,介绍使用Python处理文本文件的方法。

开始之前

在面对文件读写类的问题时,open函数是一定绕不开的,下面先介绍几种open函数使用的技巧。

  • 使用with来处理上下文,可以在读/写完成后自动关闭文件
file_path = 'test.csv'
# bad
fp = open(file_path, 'r')
fp.read()
fp.close()
# good
with open(file_path, 'r') as fp:
    fp.read()
  • 对文件直接进行循环(文件本身就是一个可迭代对象,可以直接进行循环遍历)
# bad
with open(file_path, 'r') as fp:
    lines = fp.readlines()
    for index in range(lines):
        print(lines[index])
# good
with open(file_path, 'r') as fp:
    for line in fp:
        print(line)
  • 打开多个文件可以使用一个with
# bad
with open(file1, 'r') as fp1:
    with open(file2, 'w') as fp2:
        for line in fp1:
            fp2.write(line)
# good
with open(file1, 'r') as fp1, open(file2, 'w') as fp2:
    for line in fp1:
        fp2.write(line)

csv

csv文件是一类出现频率非常高的文本文件,在python中有许多方法可以读写他。下面介绍两种读写的方法。

在开始之前,先来介绍一下csv文件的格式,比如下面这个文件,里面有4行,第一行是表头或者叫列名(可以没有表头),每一列之间使用,隔开。后面3列是对应的内容,也是使用,进行隔开;每一行都是单独的,行与行之间使用\n进行分割,这个\n是一个不可见字符,作用是换行。

name,age,city
liming,12,taian
zhangsan,20,heze
lisi,18,shenzhen

读取

原生方法

原生方法是指不借助第三方库,只使用python本身来进行读写。

根据上面我们对csv文件的了解,我们可以得到下面这些信息

  • 第一行可能是表头,也可能直接就是数据
  • 列与列之间使用,进行分割
  • 行与行之间使用\n进行分割

下面来编写函数来进行解析csv文件,我们需要一个文件路径csv_file来进行读取,需要分隔符sep,来确定列与列之间是由什么来进行分割的,最后还需要一个header来控制是否在最后的数据中保留第一行(因为第一行可能是表头,不是真正的数据)

def parse_csv(csv_file, sep=',', header=False):
    result = []  # 存放最终的数据
    with open(csv_file, 'r') as fp:
        # 如果是True,那么可以跳过第一行
        if header:  
            fp.readline()  # 直接丢弃(读取)第一行
        for line in fp:
            result.append(line.split(sep))  # 根据sep来进行分割
    return result

Pandas

pandas是python中一个十分强大的数据分析工具,下面使用pandas来实现和上面代码一样的功能

import pandas as pd
result = pd.read_csv(csv_file, sep=',', header=None)  # 包括第一行
result = pd.read_csv(csv_file, sep=',')               # 不包括第一行

可以发现,两种方式的代码量相差很大,第二种方法几乎是一行代码就可以实现csv的读取。上面两种方法都是读取的操作,下面来介绍写入的操作

写入

原生方法

在写入的时候,我们只需要构造出符合csv文件格式的字符串,然后写入文件即可

将每一列的数据使用分隔符sep进行连接,将每一行之间的数据使用\n进行分割

data = [
 ['liming','12','taian'],
 ['zhangsan','20','heze'],
 ['lisi','18','shenzhen'],
]
def write_csv(data, output_file, sep=','):
    with open(output_file, 'w') as fp:
        for line in data:
            # 使用sep将每一行中的数据连接起来
            # 同时在最后加上\n来进行换行
            fp.write(sep.join(line) + '\n')

pandas

import pandas as pd
data = [
   ['liming', '12', 'taian'],
   ['zhangsan', '20', 'heze'],
   ['lisi', '18', 'shenzhen'],
]
df = pd.DataFrame(data)  # 需要先构造一个数据表
# 把构造的数据表存下来,不存表头,不存索引
df.to_csv(output_file, header=None, index=None)

下面我将从一个具体的案例来讲述如何使用python来完成文本处理的任务。

案例讲解

需求

有一个csv文件,第一列是gene_id,第二列是表达量

c085bcd30cc980d5f8bed2ba3c83d168_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

现在你需要在里面筛选20个特定的基因,同时根据另一个文件为这20个gene_id重命名

20613d229973134c65a8870ee5020ab2_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

最后将筛选出来的gene_idexpression保存到一个新的csv文件里面

实现

下面我们也是使用两种方法来完成这个需求

原生方法

def get_geneid_map(geneid_map_csv):
    """ 将第二个csv文件转化从dict中,旧id做key,新id做value """
    result = {}
    with open(geneid_map_csv,'r') as fp:
        fp.readline()  # 去掉表头
        for line in fp:
            line = line.strip('\n')    # 去掉最后的\n
            line = line.split(',')     # 根据,进行分割
            result[line[0]] = line[1]  # 存到字典里面
    return result
def parse_gene_file(gene_file,geneid_map_dict):
    result = []
    with open(gene_file,'r') as fp:
        fp.readline()  # 去掉表头
        for line in fp:
            line = line.strip('\n')
            line = line.split(',')
            if line[0] in geneid_map_dict:
                result.append([
                    geneid_map_dict[line[0]],  # 根据旧id获得新id
                    line[1]  # 表达量
                ])
    return result
def save_to_csv(result,output_file):
    with open(output_file,'w') as fp:
        for line in result:
            fp.write(','.join(line) + '\n')
if __name__ == '__main__':
    csv_file1 = 'gene.csv'
    csv_file2 = 'geneid_map.csv'
    csv_result = 'filter.csv'
    geneid_map = get_geneid_map(csv_file2)
    result = parse_gene_file(csv_file1,geneid_map)
    save_to_csv(result,csv_result)

pandas

if __name__ == '__main__':
    csv_file1 = 'gene.csv'
    csv_file2 = 'geneid_map.csv'
    csv_result = 'filter.csv'
    import pandas as pd
    # 读取csv文件,数据不包含header
    gene = pd.read_csv(csv_file1,sep=',')
    geneid = pd.read_csv(csv_file2,sep=',')
    # 使用isin筛选需要的id,同时拷贝一份
    filter_gene = gene[gene['gene_id'].isin(geneid['gene_id1'])].copy() 
    # 构造字典,与上面构造的字典相同
    geneid_map = {v['gene_id1']:v['gene_id2'] for k,v in geneid.to_dict('index').items()}
    # 使用字典对旧id进行替换
    filter_gene['gene_id'] = filter_gene['gene_id'].map(geneid_map)
    # 保存csv,不包含表头,不包含索引
    filter_gene.to_csv(csv_result,header=None,index=None)

后台回复csv即可获得案例中使用的文件

相关文章
|
1月前
|
自然语言处理 数据处理 Python
python操作和解析ppt文件 | python小知识
本文将带你从零开始,了解PPT解析的工具、工作原理以及常用的基本操作,并提供具体的代码示例和必要的说明【10月更文挑战第4天】
329 60
|
1月前
|
安全 Linux 数据安全/隐私保护
python知识点100篇系列(15)-加密python源代码为pyd文件
【10月更文挑战第5天】为了保护Python源码不被查看,可将其编译成二进制文件(Windows下为.pyd,Linux下为.so)。以Python3.8为例,通过Cython工具,先写好Python代码并加入`# cython: language_level=3`指令,安装easycython库后,使用`easycython *.py`命令编译源文件,最终生成.pyd文件供直接导入使用。
python知识点100篇系列(15)-加密python源代码为pyd文件
|
16天前
|
开发者 Python
Python中__init__.py文件的作用
`__init__.py`文件在Python包管理中扮演着重要角色,通过标识目录为包、初始化包、控制导入行为、支持递归包结构以及定义包的命名空间,`__init__.py`文件为组织和管理Python代码提供了强大支持。理解并正确使用 `__init__.py`文件,可以帮助开发者更好地组织代码,提高代码的可维护性和可读性。
17 2
|
1月前
|
数据处理 Python
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
这篇文章介绍了如何使用Python读取Excel文件中的数据,处理后将其保存为txt、xlsx和csv格式的文件。
50 3
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
|
1月前
|
Linux 区块链 Python
Python实用记录(十三):python脚本打包exe文件并运行
这篇文章介绍了如何使用PyInstaller将Python脚本打包成可执行文件(exe),并提供了详细的步骤和注意事项。
55 1
Python实用记录(十三):python脚本打包exe文件并运行
|
1月前
|
Java Python
> python知识点100篇系列(19)-使用python下载文件的几种方式
【10月更文挑战第7天】本文介绍了使用Python下载文件的五种方法,包括使用requests、wget、线程池、urllib3和asyncio模块。每种方法适用于不同的场景,如单文件下载、多文件并发下载等,提供了丰富的选择。
|
1月前
|
数据安全/隐私保护 流计算 开发者
python知识点100篇系列(18)-解析m3u8文件的下载视频
【10月更文挑战第6天】m3u8是苹果公司推出的一种视频播放标准,采用UTF-8编码,主要用于记录视频的网络地址。HLS(Http Live Streaming)是苹果公司提出的一种基于HTTP的流媒体传输协议,通过m3u8索引文件按序访问ts文件,实现音视频播放。本文介绍了如何通过浏览器找到m3u8文件,解析m3u8文件获取ts文件地址,下载ts文件并解密(如有必要),最后使用ffmpeg合并ts文件为mp4文件。
|
1月前
|
JSON 数据格式 Python
Python实用记录(十四):python统计某个单词在TXT/JSON文件中出现的次数
这篇文章介绍了一个Python脚本,用于统计TXT或JSON文件中特定单词的出现次数。它包含两个函数,分别处理文本和JSON文件,并通过命令行参数接收文件路径、目标单词和文件格式。文章还提供了代码逻辑的解释和示例用法。
44 0
Python实用记录(十四):python统计某个单词在TXT/JSON文件中出现的次数
|
1月前
|
Python
Python实用记录(四):os模块-去后缀或者改后缀/指定目录下图片或者子目录图片写入txt/csv
本文介绍了如何使用Python的os模块来操作文件,包括更改文件后缀、分割文件路径和后缀、将指定目录下的所有图片写入txt文档,以及将指定目录下所有子目录中的图片写入csv文档,并为每个子目录分配一个标签。
19 1
|
1月前
|
Python
Python实用记录(十二):文件夹下所有文件重命名以及根据图片路径保存到新路径下保存
这篇文章介绍了如何使用Python脚本对TTK100_VOC数据集中的JPEGImages文件夹下的图片文件进行批量重命名,并将它们保存到指定的新路径。
33 0
下一篇
无影云桌面