在Python中生成包含4列的1 GB文件

试试这个。我认为它会有更少的内存分配，所以希望更快一点（对我来说需要300s）。你可以通过将数据直接传输到文件来更快地完成它，不需要使用Pandas，但我在这里使用它时

import pandas as pd
import numpy as np
import random
import string
from random import choices
from string import ascii_lowercase

size = 50000000

df = pd.DataFrame(np.random.randint(low=0, high=10, size=(size,1)),

                columns=['integer1'])

df['String1']= pd.util.testing.rands_array(32, size)
df['String1'] = df['String1'].apply(lambda x: x[0:random.randint(0,32)])
df['String2']= pd.util.testing.rands_array(32, size)
df['String2'] = df['String2'].apply(lambda x: x[0:random.randint(0,32)])

df.head()
或者，直接进入将使用更少内存的文件：
f = open("demofile.txt", "w")

for i in range(0,30000000):

f.write("{},{},{}\n".format(random.randint(0,10), ''.join(choices(ascii_lowercase, k=random.randint(1,32))), ''.join(choices(ascii_lowercase, k=random.randint(1,32)))))
if i % 50000 == 0:
    f.flush()

f.close()