如何快速创建千万行CSV 数据?

简介: 如何快速创建千万行CSV 数据?

大家好,我是阿萨。这几天做测试的过程中,遇到了一个难题,那就是需要测试原数据是千万行数据级别的原始数据。 而且还必须是有意义的数据。


之前阿萨介绍过创建假数据的几种方式:

自动生成测试数据—Faker

如何使用Postgresql 造数据?


这两种方式都是可以选择的。

但是阿萨觉得都太费事了。如果我有少量数据,如何快速造出千万行数据?


阿萨喜欢用python, python 的pandas 本身就是为大数据做准备的,再加上裂变,岂不是就可以很很轻松弄出数据了。


前提,必须有模板数据,比如100行原始数据。


下面我们看下代码:


import pandas as pd# 请把CSV替换成对应的列名称df = pd.read_csv("Result.csv", names=["Column1","Column1", "Column1", "Column1", "Column1"                                          , "Column1", "Column1", "Column1"                                          , "Column1" , "Column1", "Column1", "Column1", "Column1"                                          , "Column1", "Column1", "Column1", "Column1","Column1"                                          , "Column1" , "Column1", "Column1"                                          , "Column1", "Column1", "Column1"                                          , "Column1", "Column1"], skiprows=[0],)#根据自己的数据量去调整次数for x in range(0, 10):    df1=df.copy()    df=pd.concat([df,df1],ignore_index=True)        df.to_csv('Result2.csv')


赶紧执行下,几分钟就好了。


真是太厉害了。


大家有需要的话,赶紧尝试一下。


如果觉得阿萨的内容对你有帮助,欢迎围观点赞。

相关文章
|
SQL 缓存 Oracle
为什么阿里巴巴禁止使用 count(列名)或 count(常量)来替代 count(*)
本文介绍了COUNT函数的用法,主要用于统计表行数。主要用法有COUNT(*)、COUNT(字段)和COUNT(1)。
12582 0
为什么阿里巴巴禁止使用 count(列名)或 count(常量)来替代 count(*)
|
安全 Linux 网络安全
Centos7安装Docker
安装docker Centos7安装Docker 1.卸载Docker 2.安装docker 3.启动Docker CentOS7安装DockerCompose 1.下载 2.修改文件权限 3.Base自动补全命令:
6089 0
|
SQL 关系型数据库 数据库
Pandas 2.2 中文官方教程和指南(十·二)(2)
Pandas 2.2 中文官方教程和指南(十·二)
425 4
|
存储 NoSQL 开发工具
开发者如何使用表格存储 Tablestore
【10月更文挑战第11天】开发者如何使用表格存储 Tablestore
600 0
|
机器学习/深度学习 人工智能 算法
推荐系统召回算法及架构说明
阿里巴巴技术专家傲海为大家带来推荐系统召回算法及架构说明的介绍。内容包括召回模块在推荐系统中的位置,召回算法的介绍,什么是协同过滤,以及向量召回架构的说明。
推荐系统召回算法及架构说明
secureCRT 8 license
secureCRT 8 license Name Company Serial Number License Key Issue Date Admin FENG 03-47-186992 ACF3C7 NZ...
7627 0
|
SQL Oracle 关系型数据库
java实现oracle和mysql的group by分组功能|同时具备max()/min()/sum()/case when 函数等功能
java实现oracle和mysql的group by分组功能|同时具备max()/min()/sum()/case when 函数等功能
|
JavaScript 前端开发
js 删除数组中指定元素——5种方式
js 删除数组中指定元素——5种方式
在Word中让公式在中间,公式编号右对齐
在Word中让公式在中间,公式编号右对齐