ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

简介: ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略


目录

基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

设计思路

输出结果

1、结果输出

2、FE后的字段

3、衍生字段案例具体实现过程

T1、选择的基字段(1个)

(1)、生成的所有衍生字段

(2)、父衍生字段—outlet.COUNT(bigmart)

(3)、子衍生字段的具体字段分析

T2、选择的基字段(2个)

核心代码


 

 

相关文章

ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略实现

 

基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

设计思路

 

 

 

输出结果

1、结果输出

 

2、FE后的字段

Item_Identifier

Item_Weight

Item_Fat_Content

Item_Visibility

Item_Type

Item_MRP

Outlet_Identifier

Outlet_Establishment_Year

Outlet_Size

Outlet_Location_Type

Outlet_Type

id

 

 

3、衍生字段案例具体实现过程

T1、选择的基字段(1个)

['id','Item_Identifier','Item_Weight','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']

 

(1)、生成的所有衍生字段

id

Item_Identifier

Item_Weight

 
 

Outlet_Identifier

outlet.Outlet_Establishment_Year

outlet.Outlet_Size

outlet.COUNT(bigmart)

outlet.MODE(bigmart.Item_Identifier)

outlet.NUM_UNIQUE(bigmart.Item_Identifier)

 
 

outlet.MAX(bigmart.Item_Weight)

outlet.MEAN(bigmart.Item_Weight)

outlet.MIN(bigmart.Item_Weight)

 

outlet.SKEW(bigmart.Item_Weight)

outlet.STD(bigmart.Item_Weight)

outlet.SUM(bigmart.Item_Weight)

 

 

(2)、父衍生字段—outlet.COUNT(bigmart)

outlet.COUNT(bigmart)字段意义:是根据Outlet_Identifier字段内10个子类别的整体个数,分别进行填充设计。

outlet.COUNT(bigmart)字段内容:根据该字段的下拉列表可知,标记为1550的个数有4650个,是因为在Outlet_Identifier字段内,OUT035、OUT046、OUT049三个子类别均有1550个,所以,以上结果比较巧。

 

(3)、子衍生字段的具体字段分析

outlet.MODE(bigmart.Item_Identifier)    字段的分析过程

 

 

T2、选择的基字段(2个)

['Item_Identifier','Item_Weight','Item_Fat_Content','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']

id

Item_Identifier

Item_Weight

Item_Fat_Content

   
 

Outlet_Identifier

outlet.Outlet_Establishment_Year

outlet.Outlet_Size

   
outlet.COUNT(bigmart)

outlet.MODE(bigmart.Item_Identifier)

outlet.NUM_UNIQUE(bigmart.Item_Identifier)

     

outlet.MAX(bigmart.Item_Fat_Content)

outlet.MEAN(bigmart.Item_Fat_Content)

outlet.MIN(bigmart.Item_Fat_Content)

outlet.SKEW(bigmart.Item_Fat_Content)

outlet.STD(bigmart.Item_Fat_Content)

outlet.SUM(bigmart.Item_Fat_Content)

outlet.MAX(bigmart.Item_Weight) outlet.MEAN(bigmart.Item_Weight) outlet.MIN(bigmart.Item_Weight) outlet.SKEW(bigmart.Item_Weight) outlet.STD(bigmart.Item_Weight) outlet.SUM(bigmart.Item_Weight)

 

 

核心代码

1. #2.2、特征衍生
2. #(1)、创建一个实体集EntitySet:实体集是一种包含多个数据帧及其之间关系的结构。
3. ftES = ft.EntitySet(id = 'sales') 
4. 
5. 
6. #(2)、规范化实体集:
7. ftES.normalize_entity(base_entity_id='bigmart', 
8.                     new_entity_id='outlet', 
9.                     index = 'Outlet_Identifier', 
10.                     additional_variables = ['Outlet_Establishment_Year', 'Outlet_Size',
11. #                                             'Outlet_Location_Type', 'Outlet_Type',
12.                                             ])
13. 
14. 
15. 
16. #(3)、利用dfs函数自动创建新特征并输出
17. feature_matrix, feature_names = ft.dfs(entityset=ftES,target_entity = 'bigmart', 
18.                                        max_depth = 2,
19. #                                        verbose = 1, n_jobs = -1,
20.                                        )
21. print('feature_names: \n',len(feature_names),feature_names)
22. print('feature_matrix:',feature_matrix.shape,type(feature_matrix),'\n',feature_matrix.iloc[:,:10].head())
23. feature_matrix.to_csv('%sfeature_matrix.csv'%date)
24. 
25. feature_matrix = feature_matrix.reindex(index=data_all['id'])       # reindex()函数,重新把列/行根据columns/index参数指定字段顺序整理一遍
26. feature_matrix = feature_matrix.reset_index()                       # reset_index()函数,重新设置dataframe的index,范围为0~len(df)
27. feature_matrix.to_csv('%sfeature_matrix2reset_index01.csv'%date)
28.

 


相关文章
|
机器学习/深度学习
ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
ML之FE:基于单个csv文件数据集(自动切分为两个dataframe表)利用featuretools工具实现自动特征生成/特征衍生
ML之FE:基于单个csv文件数据集(自动切分为两个dataframe表)利用featuretools工具实现自动特征生成/特征衍生
|
9月前
|
数据采集 机器学习/深度学习 存储
【机器学习】数据清洗——基于Numpy库的方法删除重复点
【机器学习】数据清洗——基于Numpy库的方法删除重复点
253 1
|
机器学习/深度学习
ML之FE:基于BigMartSales数据集利用Featuretools工具实现自动特征工程之详细攻略daiding
ML之FE:基于BigMartSales数据集利用Featuretools工具实现自动特征工程之详细攻略daiding
ML之FE:基于load_mock_customer数据集(模拟客户,单个DataFrame)利用featuretools工具实现自动特征生成/特征衍生
ML之FE:基于load_mock_customer数据集(模拟客户,单个DataFrame)利用featuretools工具实现自动特征生成/特征衍生
ML之FE:基于load_mock_customer数据集(模拟客户,单个DataFrame)利用featuretools工具实现自动特征生成/特征衍生
|
9月前
|
数据采集 机器学习/深度学习 Python
【机器学习】数据清洗——基于Pandas库的方法删除重复点
【机器学习】数据清洗——基于Pandas库的方法删除重复点
319 1
|
7月前
|
数据采集 机器学习/深度学习 数据可视化
关于Python数据分析项目的简要概述:从CSV加载数据,执行数据预处理,进行数据探索,选择线性回归模型进行训练,评估模型性能并优化,最后结果解释与可视化。
【7月更文挑战第5天】这是一个关于Python数据分析项目的简要概述:从CSV加载数据,执行数据预处理(填充缺失值,处理异常值),进行数据探索(可视化和统计分析),选择线性回归模型进行训练,评估模型性能并优化,最后结果解释与可视化。此案例展示了数据科学的典型流程。
112 2
|
机器学习/深度学习 传感器 SQL
Python 数据竞赛常用 | 可视化数据集缺失情况
无论是打比赛还是在实际工程项目中,都会遇到数据缺失的情况,如果数据集较小,还能在 Excel 或者其他可视化软件大致看一下导致数据缺失的原因。但当数据集较大时,手工查看每个变量的缺失值是非常麻烦的一件事情。 数据探索和预处理也是任何数据科学或机器学习工作流中的重要步骤。缺失数据可能是处理真实数据集时最常见的问题之一,数据丢失的原因很多,包括传感器故障、数据过时、数据管理不当,甚至人为错误。丢失的数据可能以单个值、一个要素中的多个值或整个要素丢失的形式出现。
554 0
Python 数据竞赛常用 | 可视化数据集缺失情况
|
机器学习/深度学习 算法 数据处理
ML之FE:数据处理—特征工程之稀疏特征的简介、如何处理、案例应用之详细攻略
ML之FE:数据处理—特征工程之稀疏特征的简介、如何处理、案例应用之详细攻略
ML之FE:数据处理—特征工程之稀疏特征的简介、如何处理、案例应用之详细攻略
ML之FE:基于load_mock_customer数据集(模拟客户)利用featuretools工具实现自动特征生成/特征衍生
ML之FE:基于load_mock_customer数据集(模拟客户)利用featuretools工具实现自动特征生成/特征衍生
ML之FE:基于load_mock_customer数据集(模拟客户)利用featuretools工具实现自动特征生成/特征衍生

热门文章

最新文章