有没有办法优化使用pandas读取TSV文件，转换并使用spark写入表的代码？

df_pandas = pd.read_csv('filepath/filename' , delimiter='t' , encoding = 'utf-8', error_bad_lines=False )

#defining the schema for the spark dataframe
df_schema_file = StructType([StructField("Col1", StringType(), True),StructField("Col2", StringType(), True)])

spark_df = spark.createDataFrame(df_pandas,df_schema_file)
spark_df = spark_df.withColumn("CreatedOn", lit(from_unixtime(unix_timestamp())))
spark_df = spark_df.withColumn("CreatedOn", spark_df["CreatedOn"].cast(TimestampType()))
spark_df.write.mode('append').saveAsTable('tbl_name')

#Creating dataframe from existing table
spark_df = spark.table('tbl_name')
df_name = spark_df.toPandas()

我使用上面的代码来读取TSV文件，使用Databricks中的数据创建一个permenant表。这就是为什么需要转换为spark数据帧。我还必须将创建的时间戳添加到表中并指定Timestamp数据类型。我不希望它被视为字符串。

然后我需要从表中创建一个pandas数据帧，这样我就可以对数据进行一些简单的转换。应该从现有表中创建pandas数据帧。

现在，这段代码需要2.48分钟才能在数据库中运行。它太多，因为我不使用代码创建新的时间戳列并指定其数据类型，在6秒内完成。

有没有办法优化这段代码？我不知道是否有任何方法可以将pandas数据帧直接保存为表格。因此转换为spark数据帧。我需要在Pandas数据帧本身进行转换。我不知道从表直接创建pandas数据帧的方法。因此先要到spark，然后再到pandas。

有没有办法优化这段代码？