Spark - Python - 获取RDD上的年/月

尝试解析字符串日期，然后使用withColumn并在每行上应用并获取解析后的新日期列。您应该将您的函数定义为udf之前使用它。

import datetime

def date_time_to_date(input_date_time):
new_date = datetime.datetime.strptime(input_date_time, "%d-%M-%Y").date()
return str(new_date.month) + "/"+ str(new_date.year)

udf_date_time_to_date = udf(date_time_to_date, StringType())
data.toDF(['id' , 'date']).withColumn('new_date', udf_date_time_to_date('date'))

您应该将文件读作csv而不是文本。我只是在Scala中使用硬编码的df来模仿它。您应该能够使用类似的语法将其转换为python。

val df = Seq((1,"01-01-2001"),(2,"01-02-2001"),(3,"01-03-2001")).toDF("a","b")
val df2 = df.withColumn("b",to_date('b,"dd-MM-yyy"))
df2.printSchema()
df2.show(false)
df2.select(col("a"), date_format('b,"MM/yyyy").as("dt1")).show(false)
结果：

root
|-- a: integer (nullable = false)
|-- b: date (nullable = true)