3.pandas读取文件

3.1read_excel()

3.1.1准备数据

import pandas as pd
id = ['xx1', 'xx2', 'xx3', 'xx4', 'xx5']
df = pd.DataFrame({
   
    'name': ['aaa', 'bbb', 'ccc', 'ddd', 'eee'],
    'age': [18, 20, 21, 22, 19],
    'gender': ['male', 'female', 'male', 'female', 'female'],
    'class': ['A', 'B', 'B', 'A', 'A']
}, index=id)
# 保存为excel文件
df.to_excel('data.xlsx')

3.1.2默认方式读取

read_excel()读取excel文件得到的DataFrame，

• index值默认为0,1,2,3…
• 列名默认为excel中的第一行数据

df = pd.read_excel('data.xlsx')
print(df)

3.1.3设置index_col参数

df1 = pd.read_excel('data.xlsx', index_col=0)
print(df1)

如图，通过index_col=0，将下标为0的列作为索引进行读取。

3.1.4设置header参数

header可以设置列名，默认为0表示首行即列名，

• 如图通过 header=1，将下标为1行作为了列名（第二行）

df2 = pd.read_excel('data.xlsx', header=1)     # 设置第1行为列索引
print(df2)

• 当header参数为None时，表示列名为数字0,1,2,3…

df3 = pd.read_excel('data.xlsx', header=None)  
print(df3)

3.1.5设置usecols参数

通过usecols参数，传入列位置或标签列表，可以导出指定列

• 传入一个位置

df1 = pd.read_excel('data.xlsx', usecols=[1])                  # 通过指定列索引号导入第1列
print(df1)

• 传入多个位置

df2 = pd.read_excel('data.xlsx', usecols=[1, 3])
print(df2)

• 传入多个标签

df3 = pd.read_excel('data.xlsx', usecols=['name', 'age'])
print(df3)

3.1.6设置sheet_name参数以指定工作簿

可以通过read_excel()的sheet_name参数传入工作簿名称。
如：

import pandas as pd
df = pd.read_excel('data_name.xlsx', sheet_name='sheetA')
df1 = df.head()   # 输出前5条数据

3.1.7解决数据输出时列名不对齐的问题

使用命令

pd.set_option(‘display.unicode.east_asian_width’, True)

import pandas as pd
pd.set_option('display.unicode.east_asian_width', True)
df = pd.read_excel('data.xlsx')

3.2read_csv()

3.2.1设置encoding参数

设置encoding参数可以指定编码方式，默认为None。
出现乱码的时候可以使用。

import pandas as pd
df = pd.read_csv('data.csv', encoding='gbk')            # 导入csv文件，并指定编码格式
print(df.head())   

3.2.2设置sep参数指定分隔符

sep默认为","，表示分隔符默认为逗号。
根据数据的具体情形，设置不同的分隔符，下例中读取了分隔符为\t的txt文本文件。

import pandas as pd
df1 = pd.read_csv('1月.txt', sep='\t', encoding='gbk')
df1 = df1.head()

3.3read_html()小案例

3.3.1pd.read_html()方法

使用pandas的read_html()方法，只需要传入url，可以获取到相应的网页源码中的表格数据，返回的数据格式为一个列表。

3.3.2DataFrame的append()方法

此外可以对DataFrame对象使用append方法将满足一定格式(形似一个表格)的列表数据添加到其中，ignore_index=True可以忽略掉该list对象中数据的索引列，而将索引设为默认的0,1,2…，避免了多个list对象的索引重复的问题。以该案例为例：

以网站http://www.espn.com/nba/salaries/_/seasontype/4等为例，获取此网站及其他11页的表格数据，并保存为csv文件。

3.3.3pd.to_csv()方法

• header 表头，传入形式为一个列表，默认为数据第一行
• index=False 忽略索引
  

import pandas as pd
df = pd.DataFrame()
url_list = ['http://www.espn.com/nba/salaries/_/seasontype/4']
for i in range(2, 13):
    url = 'http://www.espn.com/nba/salaries/_/page/%s/seasontype/4' % i
    url_list.append(url)


# 遍历网页中的table读取网页表格数据
for url in url_list:
    df = df.append(pd.read_html(url), ignore_index=True)
# 通过观察，df中第三个数据都是以$开头的，除了重复出现的标题数据。以以$开头为筛选条件，去除冗余数据。
df = df[[x.startswith('$') for x in df[3]]]
df.to_csv('NBA.csv', header=['RK', 'NAME', 'TEAM', 'SALARY'], index=False)