我们爬取了大量微博热搜的数据并保存成CSV文件了。现在,我们来将这些CSV文件合并成一个文件,方便数据分析,具体代码如下:
import pandas as pdimport ospath='/Users/XXXXXX/微博热搜文件/weibo_20200814'name='Combined_20200814.csv'li=os.listdir(path)for i in li: df=pd.read_csv(path+'/'+i,header=None,encoding='utf-8') #print(df) df.to_csv('/Users/XXXXX/微博热搜文件/'+name, mode='a', index=False, header=False) print('Finished!')
运行后的文件为:
这里简单用了一个pandas直接合并的,并未将后续的表头进行删除,删除指定表头的工作我们在后续处理中再继续进行,Bye!