熊猫应用功能速度慢
我有一个dataframe(大约1 - 3 M条记录)，我在上面运行一个apply()函数。这要花相当多的时间。我读过一些不应该使用apply()的地方，但是我不知道如何在没有它的情况下完成相同的任务。 dataframe是事务性销售数据。我按“APN”分组，然后重新创建一个新的pd.系列
def f(x):
d = {}
d['fips_2'] = x["fips"].values[0]
d['apn_2'] = x["apn"].values[0]
d['most_recent_sale'] = x["recording_date"].nlargest(1).iloc[-1]
d['second_most_recent_sale'] = x["recording_date"].nlargest(2).iloc[-1]
d['third_most_recent_sale'] = x["recording_date"].nlargest(3).iloc[-1]
d['most_recent_price'] = x.loc[x["recording_date"] == d["most_recent_sale"], "price"].values[0]
d['second_most_recent_price'] = x.loc[x["recording_date"] == d["second_most_recent_sale"], "price"].values[0]
d['third_most_recent_price'] = x.loc[x["recording_date"] == d["third_most_recent_sale"], "price"].values[0]
d['second_grantor'] = x.loc[x["recording_date"] == d["most_recent_sale"], "seller"].values[0]
d['prior_grantor'] = x.loc[x["recording_date"] == d["second_most_recent_sale"], "seller"].values[0]
d['type'] = x["type"].values[0]
print(x["apn"].values[0])
return pd.Series(d, index=['apn_2', 'most_recent_sale', 'second_most_recent_sale', 'most_recent_price', 'second_most_recent_price', 'second_grantor', 'type'])
df_grouped = year_past_df.groupby("apn").apply(f)
有没有更好的方法可以更快地完成同样的任务? 问题来源StackOverflow 地址：/questions/59384606/pandas-apply-function-slow-speed
展开
收起
1
条回答
写回答
写回答
-
一个改进是删除几个最大的调用并在开始时进行一次排序。我不知道所有的列作为一个示例数据集是失踪，但像这样的东西可能工作:
def f(x): x = x.sort_values("recording_date") d = {} d['fips_2'] = x["fips"].values[0] d['apn_2'] = x["apn"].values[0] d['most_recent_sale'] = x.sale.iloc[-1] d['second_most_recent_sale'] = x.sale.iloc(-2) d['third_most_recent_sale'] = x.sale.iloc(-2) d['most_recent_price'] = x.price.iloc(-1) d['second_most_recent_price'] = x.price.iloc(-2) d['third_most_recent_price'] = x.price.iloc(-3) d['second_grantor'] = x.seller.iloc(-1) d['prior_grantor'] = x.seller.iloc(-2) d['type'] = x["type"].values[0] return pd.Series(d, index=['apn_2', 'most_recent_sale', 'second_most_recent_sale', 'most_recent_price', 'second_most_recent_price', 'second_grantor', 'type']) df_grouped = year_past_df.groupby("apn").apply(f)另一种选择是在开始时对整个数据集进行排序，然后使用类似这样的agg函数:
agg_dir = { 'fips': 'first', 'sale': ['last', lambda x: x.iloc[-2], lambda x: x.iloc[-3]], 'price': ['last', lambda x: x.iloc[-2], lambda x: x.iloc[-3]], 'seller': ['last', lambda x: x.iloc[-2]], 'type': 'first' } df_grouped = year_past_df.sort_values("recording_date").groupby("apn").agg(agg_dir) df_grouped.columns = ['fips_2', 'most_recent_sale', 'second_most_recent_sale', 'third_most_recent_sale', 'most_recent_price', 'second_most_recent_price', 'third_most_recent_price', 'second_grantor', 'prior_grantor', 'type']2019-12-26 14:34:35赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
