[pandas]从多个文件中构建dataframe

简介: [pandas]从多个文件中构建dataframe

按列从多个文件中构建

假设有两个csv文件,列不相同,需要整合为一个dataframe,使用glob模块:

from glob import glob
import pandas as pd
# glob会返回任意排序的文件名,所以需要sort排序
some_files = sorted(glob('./some*.csv'))
pd.concat((pd.read_csv(file) for file in some_files),axis='columns').head()

按行从多个文件中构建

比如有三天的股票数据,文件名都是stocks开头的csv文件,维度相同。需要将每个CSV文件读取成DataFrame,将它们结合成一个DataFrame。

from glob import glob
import pandas as pd
# glob会返回任意排序的文件名,所以需要sort排序
some_files = sorted(glob('./stocks*.csv'))
pd.concat((pd.read_csv(file) for file in stock_files), ignore_index = True)
相关文章
|
2月前
|
Java 数据处理 索引
(Pandas)Python做数据处理必选框架之一!(二):附带案例分析;刨析DataFrame结构和其属性;学会访问具体元素;判断元素是否存在;元素求和、求标准值、方差、去重、删除、排序...
DataFrame结构 每一列都属于Series类型,不同列之间数据类型可以不一样,但同一列的值类型必须一致。 DataFrame拥有一个总的 idx记录列,该列记录了每一行的索引 在DataFrame中,若列之间的元素个数不匹配,且使用Series填充时,在DataFrame里空值会显示为NaN;当列之间元素个数不匹配,并且不使用Series填充,会报错。在指定了index 属性显示情况下,会按照index的位置进行排序,默认是 [0,1,2,3,...] 从0索引开始正序排序行。
232 0
|
SQL 索引 Python
Pandas中DataFrame合并的几种方法
Pandas中DataFrame合并的几种方法
2104 0
|
12月前
|
存储 数据挖掘 数据处理
掌握Pandas核心数据结构:Series与DataFrame的四种创建方式
本文介绍了 Pandas 库中核心数据结构 Series 和 DataFrame 的四种创建方法,包括从列表、字典、标量和 NumPy 数组创建 Series,以及从字典、列表的列表、NumPy 数组和 Series 字典创建 DataFrame,通过示例详细说明了每种创建方式的具体应用。
889 67
|
10月前
|
存储 数据挖掘 数据处理
pandas 读取xlsx文件复制文件
Pandas 提供了强大的功能来读取和处理 Excel 文件,通过结合使用 `read_excel` 和 `to_excel` 方法,可以轻松地对 Excel 文件进行读取、处理和复制。无论是处理单个工作表还是多个工作表,Pandas 都能高效地完成任务。
276 11
|
12月前
|
存储 数据挖掘 索引
Pandas数据结构:Series与DataFrame
本文介绍了 Python 的 Pandas 库中两种主要数据结构 `Series` 和 ``DataFrame`,从基础概念入手,详细讲解了它们的创建、常见问题及解决方案,包括数据缺失处理、数据类型转换、重复数据删除、数据筛选、排序、聚合和合并等操作。同时,还提供了常见报错及解决方法,帮助读者更好地理解和使用 Pandas 进行数据分析。
780 12
|
SQL 数据采集 数据可视化
Pandas 数据结构 - DataFrame
10月更文挑战第26天
654 2
Pandas 数据结构 - DataFrame
|
12月前
|
存储 数据挖掘 索引
Pandas Series 和 DataFrame 常用属性详解及实例
Pandas 是 Python 数据分析的重要工具,其核心数据结构 Series 和 DataFrame 广泛应用。本文详细介绍了这两种结构的常用属性,如 `index`、`values`、`dtype` 等,并通过具体示例帮助读者更好地理解和使用这些属性,提升数据分析效率。
577 4
|
索引 Python
Pandas学习笔记之Dataframe
Pandas学习笔记之Dataframe
1132 2
|
数据挖掘 大数据 数据处理
数据分析师的秘密武器:精通Pandas DataFrame合并与连接技巧
【8月更文挑战第22天】在数据分析中,Pandas库的DataFrame提供高效的数据合并与连接功能。本文通过实例展示如何按员工ID合并基本信息与薪资信息,并介绍如何基于多列(如员工ID与部门ID)进行更复杂的连接操作。通过调整`merge`函数的`how`参数(如'inner'、'outer'等),可实现不同类型的连接。此外,还介绍了使用`join`方法根据索引快速连接数据,这对于处理大数据集尤其有用。掌握这些技巧能显著提升数据分析的能力。
336 1
|
数据挖掘 索引 Python
Pandas中的crosstab:轻松构建交叉表
Pandas中的crosstab:轻松构建交叉表
429 0