目录
基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
(2)、父衍生字段—outlet.COUNT(bigmart)
相关文章
ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略实现
基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
设计思路
输出结果
1、结果输出
2、FE后的字段
Item_Identifier |
Item_Weight |
Item_Fat_Content |
Item_Visibility |
Item_Type |
Item_MRP |
Outlet_Identifier |
Outlet_Establishment_Year |
Outlet_Size |
Outlet_Location_Type |
Outlet_Type |
id |
3、衍生字段案例具体实现过程
T1、选择的基字段(1个)
['id','Item_Identifier','Item_Weight','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']
(1)、生成的所有衍生字段
id |
Item_Identifier |
Item_Weight |
|
Outlet_Identifier |
outlet.Outlet_Establishment_Year |
outlet.Outlet_Size |
|
outlet.COUNT(bigmart) | outlet.MODE(bigmart.Item_Identifier) |
outlet.NUM_UNIQUE(bigmart.Item_Identifier) |
|
outlet.MAX(bigmart.Item_Weight) |
outlet.MEAN(bigmart.Item_Weight) |
outlet.MIN(bigmart.Item_Weight) |
|
outlet.SKEW(bigmart.Item_Weight) |
outlet.STD(bigmart.Item_Weight) |
outlet.SUM(bigmart.Item_Weight) |
(2)、父衍生字段—outlet.COUNT(bigmart)
outlet.COUNT(bigmart)字段意义:是根据Outlet_Identifier字段内10个子类别的整体个数,分别进行填充设计。
outlet.COUNT(bigmart)字段内容:根据该字段的下拉列表可知,标记为1550的个数有4650个,是因为在Outlet_Identifier字段内,OUT035、OUT046、OUT049三个子类别均有1550个,所以,以上结果比较巧。
(3)、子衍生字段的具体字段分析
outlet.MODE(bigmart.Item_Identifier) 字段的分析过程
T2、选择的基字段(2个)
['Item_Identifier','Item_Weight','Item_Fat_Content','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']
id |
Item_Identifier |
Item_Weight |
Item_Fat_Content |
||
Outlet_Identifier |
outlet.Outlet_Establishment_Year |
outlet.Outlet_Size |
|||
outlet.COUNT(bigmart) | outlet.MODE(bigmart.Item_Identifier) |
outlet.NUM_UNIQUE(bigmart.Item_Identifier) |
|||
outlet.MAX(bigmart.Item_Fat_Content) |
outlet.MEAN(bigmart.Item_Fat_Content) |
outlet.MIN(bigmart.Item_Fat_Content) |
outlet.SKEW(bigmart.Item_Fat_Content) |
outlet.STD(bigmart.Item_Fat_Content) |
outlet.SUM(bigmart.Item_Fat_Content) |
outlet.MAX(bigmart.Item_Weight) | outlet.MEAN(bigmart.Item_Weight) | outlet.MIN(bigmart.Item_Weight) | outlet.SKEW(bigmart.Item_Weight) | outlet.STD(bigmart.Item_Weight) | outlet.SUM(bigmart.Item_Weight) |
核心代码
1. #2.2、特征衍生 2. #(1)、创建一个实体集EntitySet:实体集是一种包含多个数据帧及其之间关系的结构。 3. ftES = ft.EntitySet(id = 'sales') 4. 5. 6. #(2)、规范化实体集: 7. ftES.normalize_entity(base_entity_id='bigmart', 8. new_entity_id='outlet', 9. index = 'Outlet_Identifier', 10. additional_variables = ['Outlet_Establishment_Year', 'Outlet_Size', 11. # 'Outlet_Location_Type', 'Outlet_Type', 12. ]) 13. 14. 15. 16. #(3)、利用dfs函数自动创建新特征并输出 17. feature_matrix, feature_names = ft.dfs(entityset=ftES,target_entity = 'bigmart', 18. max_depth = 2, 19. # verbose = 1, n_jobs = -1, 20. ) 21. print('feature_names: \n',len(feature_names),feature_names) 22. print('feature_matrix:',feature_matrix.shape,type(feature_matrix),'\n',feature_matrix.iloc[:,:10].head()) 23. feature_matrix.to_csv('%sfeature_matrix.csv'%date) 24. 25. feature_matrix = feature_matrix.reindex(index=data_all['id']) # reindex()函数,重新把列/行根据columns/index参数指定字段顺序整理一遍 26. feature_matrix = feature_matrix.reset_index() # reset_index()函数,重新设置dataframe的index,范围为0~len(df) 27. feature_matrix.to_csv('%sfeature_matrix2reset_index01.csv'%date) 28.