PySpark Dataframe根据函数返回值创建新列

我有一个数据帧，我想根据函数返回的值添加一个新列。此函数的参数是来自同一数据帧的四列。

这是我的数据框（这四个列有更多列）

• lat1

  lng1

  lat2

  lng2

• -32.92

  151.80

  -32.89

  151.71

| -32.92 | 151.80 | -32.89 | 151.71 |
| -32.92 | 151.80 | -32.89 | 151.71 |
| -32.92 | 151.80 | -32.89 | 151.71 |
| -32.92 | 151.80 | -32.89 | 151.71 |

• 我想添加另一列“距离”，它是两个位置点（纬度/经度）之间的总距离。我有一个函数，它将四个位置点作为参数，并将差异作为Float返回。

def get_distance(lat_1, lng_1, lat_2, lng_2):
d_lat = lat_2 - lat_1
d_lng = lng_2 - lng_1

temp = (
math.sin(d_lat / 2) ** 2

+ math.cos(lat_1) 
* math.cos(lat_2) 
* math.sin(d_lng / 2) ** 2

)

return 6367.0 (2 math.asin(math.sqrt(temp)))
这是错误，我也不确定这种方法，它基于我已经提到的其他问题。