大家好,我是阿萨。这几天做测试的过程中,遇到了一个难题,那就是需要测试原数据是千万行数据级别的原始数据。 而且还必须是有意义的数据。
之前阿萨介绍过创建假数据的几种方式:
这两种方式都是可以选择的。
但是阿萨觉得都太费事了。如果我有少量数据,如何快速造出千万行数据?
阿萨喜欢用python, python 的pandas 本身就是为大数据做准备的,再加上裂变,岂不是就可以很很轻松弄出数据了。
前提,必须有模板数据,比如100行原始数据。
下面我们看下代码:
import pandas as pd# 请把CSV替换成对应的列名称df = pd.read_csv("Result.csv", names=["Column1","Column1", "Column1", "Column1", "Column1" , "Column1", "Column1", "Column1" , "Column1" , "Column1", "Column1", "Column1", "Column1" , "Column1", "Column1", "Column1", "Column1","Column1" , "Column1" , "Column1", "Column1" , "Column1", "Column1", "Column1" , "Column1", "Column1"], skiprows=[0],)#根据自己的数据量去调整次数for x in range(0, 10): df1=df.copy() df=pd.concat([df,df1],ignore_index=True) df.to_csv('Result2.csv')
赶紧执行下,几分钟就好了。
真是太厉害了。
大家有需要的话,赶紧尝试一下。
如果觉得阿萨的内容对你有帮助,欢迎围观点赞。