以更快的方式垂直地显示不同列的concat数据流

我试着把两个巨大的数据框(约15GB)像下面这样: a_df:

            A       B       C       D
2018-10-16  a16     b16     c16     d16
2018-10-17  a17     b17     c17     d17
2018-10-18  a18     b18     c18     d18
2018-10-19  a19     b19     c19     d19
2018-10-20  a20     b20     c20     d20

b_df:

            A       C       Y       Z       
2018-10-21  a21     c21     y21     z21     
2018-10-22  a22     c22     y22     z22     

要获得最终数据流:

            A       B       C       D       Y       Z
2018-10-16  a16     b16     c16     d16
2018-10-17  a17     b17     c17     d17
2018-10-18  a18     b18     c18     d18
2018-10-19  a19     b19     c19     d19
2018-10-20  a20     b20     c20     d20
2018-10-21  a21             c21             y21     z21
2018-10-22  a22             c22             y22     z22

我尝试的代码:

dfs = [a_df, b_df]

unique_columns = []
for df in dfs:
    for column in df.columns:
        unique_columns.append(column)
unique_columns = sorted(set(unique_columns))

same_columns_dfs = []
for df in dfs:
    empty_df = pd.DataFrame(np.nan, index=df.index, columns=unique_columns)
    empty_df.loc[:, df.columns] = df.values
    same_columns_dfs.append(empty_df)

final_df = pd.concat(same_columns_dfs, axis=0, sort=True)

有没有更有效的方法呢? 问题来源StackOverflow 地址：/questions/59383627/faster-way-to-concat-dataframes-with-different-columns-vertically