如何快速创建千万行CSV 数据?

简介: 如何快速创建千万行CSV 数据?

大家好,我是阿萨。这几天做测试的过程中,遇到了一个难题,那就是需要测试原数据是千万行数据级别的原始数据。 而且还必须是有意义的数据。


之前阿萨介绍过创建假数据的几种方式:

自动生成测试数据—Faker

如何使用Postgresql 造数据?


这两种方式都是可以选择的。

但是阿萨觉得都太费事了。如果我有少量数据,如何快速造出千万行数据?


阿萨喜欢用python, python 的pandas 本身就是为大数据做准备的,再加上裂变,岂不是就可以很很轻松弄出数据了。


前提,必须有模板数据,比如100行原始数据。


下面我们看下代码:


import pandas as pd# 请把CSV替换成对应的列名称df = pd.read_csv("Result.csv", names=["Column1","Column1", "Column1", "Column1", "Column1"                                          , "Column1", "Column1", "Column1"                                          , "Column1" , "Column1", "Column1", "Column1", "Column1"                                          , "Column1", "Column1", "Column1", "Column1","Column1"                                          , "Column1" , "Column1", "Column1"                                          , "Column1", "Column1", "Column1"                                          , "Column1", "Column1"], skiprows=[0],)#根据自己的数据量去调整次数for x in range(0, 10):    df1=df.copy()    df=pd.concat([df,df1],ignore_index=True)        df.to_csv('Result2.csv')


赶紧执行下,几分钟就好了。


真是太厉害了。


大家有需要的话,赶紧尝试一下。


如果觉得阿萨的内容对你有帮助,欢迎围观点赞。

相关文章
|
1月前
|
存储 Python
CSV文件
【10月更文挑战第18天】CSV文件
70 2
|
6月前
|
Java Apache
导出csv格式的文件
导出csv格式的文件
61 0
|
3月前
|
索引 Python
python pandas 把数据保存成csv文件,以及读取csv文件获取指定行、指定列数据
该文档详细介绍了如何使用Python的Pandas库处理图像数据集,并将其保存为CSV文件。示例数据集位于`test_data`目录中,包含5张PNG图片,每张图片名中的数字代表其标签。文档提供了将这些数据转换为CSV格式的具体步骤,包括不同格式的数据输入方法(如NumPy数组、嵌套列表、嵌套元组和字典),以及如何使用`pd.DataFrame`和`to_csv`方法保存数据。此外,还展示了如何读取CSV文件并访问其中的每一行和每一列数据,包括获取列名、指定列数据及行数据的操作方法。
64 1
|
3月前
|
存储 Python
使用CSV模块读取CSV文件--含代码
使用CSV模块读取CSV文件--含代码
30 0
|
数据挖掘 Python
大神是这样处理 CSV 数据的
大神是这样处理 CSV 数据的
|
Python
pandas 数据循环修改列后保存为csv文件
pandas 数据循环修改列后保存为csv文件
314 0
|
Python
Pandas读取CSV文件示例及常用方法
Pandas读取CSV文件示例及常用方法
298 0
|
数据处理 Python
多线程操作CSV文件并且将CSV文件转成XLSX文件
多线程操作CSV文件并且将CSV文件转成XLSX文件
235 0
|
数据采集 Python
Pandas 合并多个 (300多个) Excel 文件,并输出为 CSV 文件
Pandas 合并多个 (300多个) Excel 文件,并输出为 CSV 文件
|
关系型数据库 数据库 PostgreSQL
导出CSV文件
导出CSV文件
382 0