如何快速创建千万行CSV 数据?

简介: 如何快速创建千万行CSV 数据?

大家好,我是阿萨。这几天做测试的过程中,遇到了一个难题,那就是需要测试原数据是千万行数据级别的原始数据。 而且还必须是有意义的数据。


之前阿萨介绍过创建假数据的几种方式:

自动生成测试数据—Faker

如何使用Postgresql 造数据?


这两种方式都是可以选择的。

但是阿萨觉得都太费事了。如果我有少量数据,如何快速造出千万行数据?


阿萨喜欢用python, python 的pandas 本身就是为大数据做准备的,再加上裂变,岂不是就可以很很轻松弄出数据了。


前提,必须有模板数据,比如100行原始数据。


下面我们看下代码:


import pandas as pd# 请把CSV替换成对应的列名称df = pd.read_csv("Result.csv", names=["Column1","Column1", "Column1", "Column1", "Column1"                                          , "Column1", "Column1", "Column1"                                          , "Column1" , "Column1", "Column1", "Column1", "Column1"                                          , "Column1", "Column1", "Column1", "Column1","Column1"                                          , "Column1" , "Column1", "Column1"                                          , "Column1", "Column1", "Column1"                                          , "Column1", "Column1"], skiprows=[0],)#根据自己的数据量去调整次数for x in range(0, 10):    df1=df.copy()    df=pd.concat([df,df1],ignore_index=True)        df.to_csv('Result2.csv')


赶紧执行下,几分钟就好了。


真是太厉害了。


大家有需要的话,赶紧尝试一下。


如果觉得阿萨的内容对你有帮助,欢迎围观点赞。

目录
打赏
0
0
0
0
80
分享
相关文章
|
6月前
|
CSV文件
【10月更文挑战第18天】CSV文件
238 2
|
11月前
|
导出csv格式的文件
导出csv格式的文件
117 0
|
8月前
|
python pandas 把数据保存成csv文件,以及读取csv文件获取指定行、指定列数据
该文档详细介绍了如何使用Python的Pandas库处理图像数据集,并将其保存为CSV文件。示例数据集位于`test_data`目录中,包含5张PNG图片,每张图片名中的数字代表其标签。文档提供了将这些数据转换为CSV格式的具体步骤,包括不同格式的数据输入方法(如NumPy数组、嵌套列表、嵌套元组和字典),以及如何使用`pd.DataFrame`和`to_csv`方法保存数据。此外,还展示了如何读取CSV文件并访问其中的每一行和每一列数据,包括获取列名、指定列数据及行数据的操作方法。
240 1
|
8月前
|
使用CSV模块读取CSV文件--含代码
使用CSV模块读取CSV文件--含代码
92 0
R|批量循环处理同一格式文件-csv,txt,excel
R|批量循环处理同一格式文件-csv,txt,excel
152 0
多线程操作CSV文件并且将CSV文件转成XLSX文件
多线程操作CSV文件并且将CSV文件转成XLSX文件
275 0
【python基础教程】csv文件的写入与读取
CSV (Comma Separated Values),即逗号分隔值(也称字符分隔值,因为分隔符可以不是逗号),是一种常用的文本格式,用以存储表格数据,包括数字或者字符。很多程序在处理数据时都会碰到csv这种格式的文件。python自带了csv模块,专门用于处理csv文件的读取
418 0
【python基础教程】csv文件的写入与读取
Pandas 合并多个 (300多个) Excel 文件,并输出为 CSV 文件
Pandas 合并多个 (300多个) Excel 文件,并输出为 CSV 文件
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等