在我们处理数据的过程中,经常会遇到这样的情况。
工作中,比如用户画像的数据中也会遇到,客户使用的app类型就会以这种长列表的形式或者以逗号隔开的字符串形式展现出来。
那么面对这样的数据格式,我们希望把它转换为结构化的表,脑海中想象的是下面这种格式。
使用pandas
如何实现呢?
一、直接explode
其实非常简单,使用explode
这个 “爆炸” 方法即可,东哥平时喜欢叫它爆炸。其实,这个和hive
中的lateral view explode
有异曲同工的效果,也就是 “列转行” 的功能。
仍用上面这个例子,要达到想要的效果,只需要这么做。
df.explode('爱好')
看到爱好这个字段被爆炸开了,列表里所有特征都被转换为对应程序员的行数据。
但列表有重复的值,就可能导致爆炸出来的行存在重复行,如上面小码哥出现了两次敲代码。所以一般我们会在后面跟一个去重的方法。
df.explode('爱好').drop_duplicates()
二、explode不能直接处理的
但是,explode
这个爆炸方法只能处理列表
、元组
、Series
和numpy
的ndarray
的类型。如果面对下面这种格式,该如何爆炸?
其实也不难,只要运用一个小技巧即可,就是Series.str.split()
分割字符串的方法来创建列表。
df["爱好"] = df["爱好"].str.split()
然后,我们再用explode
爆炸就完事了。