ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

简介: ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略


目录

基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

设计思路

输出结果

1、结果输出

2、FE后的字段

3、衍生字段案例具体实现过程

T1、选择的基字段(1个)

(1)、生成的所有衍生字段

(2)、父衍生字段—outlet.COUNT(bigmart)

(3)、子衍生字段的具体字段分析

T2、选择的基字段(2个)

核心代码


 

 

相关文章

ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

ML之FE:基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略实现

 

基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

设计思路

 

 

 

输出结果

1、结果输出

 

2、FE后的字段

Item_Identifier

Item_Weight

Item_Fat_Content

Item_Visibility

Item_Type

Item_MRP

Outlet_Identifier

Outlet_Establishment_Year

Outlet_Size

Outlet_Location_Type

Outlet_Type

id

 

 

3、衍生字段案例具体实现过程

T1、选择的基字段(1个)

['id','Item_Identifier','Item_Weight','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']

 

(1)、生成的所有衍生字段

id

Item_Identifier

Item_Weight

 
 

Outlet_Identifier

outlet.Outlet_Establishment_Year

outlet.Outlet_Size

outlet.COUNT(bigmart)

outlet.MODE(bigmart.Item_Identifier)

outlet.NUM_UNIQUE(bigmart.Item_Identifier)

 
 

outlet.MAX(bigmart.Item_Weight)

outlet.MEAN(bigmart.Item_Weight)

outlet.MIN(bigmart.Item_Weight)

 

outlet.SKEW(bigmart.Item_Weight)

outlet.STD(bigmart.Item_Weight)

outlet.SUM(bigmart.Item_Weight)

 

 

(2)、父衍生字段—outlet.COUNT(bigmart)

outlet.COUNT(bigmart)字段意义:是根据Outlet_Identifier字段内10个子类别的整体个数,分别进行填充设计。

outlet.COUNT(bigmart)字段内容:根据该字段的下拉列表可知,标记为1550的个数有4650个,是因为在Outlet_Identifier字段内,OUT035、OUT046、OUT049三个子类别均有1550个,所以,以上结果比较巧。

 

(3)、子衍生字段的具体字段分析

outlet.MODE(bigmart.Item_Identifier)    字段的分析过程

 

 

T2、选择的基字段(2个)

['Item_Identifier','Item_Weight','Item_Fat_Content','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']

id

Item_Identifier

Item_Weight

Item_Fat_Content

   
 

Outlet_Identifier

outlet.Outlet_Establishment_Year

outlet.Outlet_Size

   
outlet.COUNT(bigmart)

outlet.MODE(bigmart.Item_Identifier)

outlet.NUM_UNIQUE(bigmart.Item_Identifier)

     

outlet.MAX(bigmart.Item_Fat_Content)

outlet.MEAN(bigmart.Item_Fat_Content)

outlet.MIN(bigmart.Item_Fat_Content)

outlet.SKEW(bigmart.Item_Fat_Content)

outlet.STD(bigmart.Item_Fat_Content)

outlet.SUM(bigmart.Item_Fat_Content)

outlet.MAX(bigmart.Item_Weight) outlet.MEAN(bigmart.Item_Weight) outlet.MIN(bigmart.Item_Weight) outlet.SKEW(bigmart.Item_Weight) outlet.STD(bigmart.Item_Weight) outlet.SUM(bigmart.Item_Weight)

 

 

核心代码

1. #2.2、特征衍生
2. #(1)、创建一个实体集EntitySet:实体集是一种包含多个数据帧及其之间关系的结构。
3. ftES = ft.EntitySet(id = 'sales') 
4. 
5. 
6. #(2)、规范化实体集:
7. ftES.normalize_entity(base_entity_id='bigmart', 
8.                     new_entity_id='outlet', 
9.                     index = 'Outlet_Identifier', 
10.                     additional_variables = ['Outlet_Establishment_Year', 'Outlet_Size',
11. #                                             'Outlet_Location_Type', 'Outlet_Type',
12.                                             ])
13. 
14. 
15. 
16. #(3)、利用dfs函数自动创建新特征并输出
17. feature_matrix, feature_names = ft.dfs(entityset=ftES,target_entity = 'bigmart', 
18.                                        max_depth = 2,
19. #                                        verbose = 1, n_jobs = -1,
20.                                        )
21. print('feature_names: \n',len(feature_names),feature_names)
22. print('feature_matrix:',feature_matrix.shape,type(feature_matrix),'\n',feature_matrix.iloc[:,:10].head())
23. feature_matrix.to_csv('%sfeature_matrix.csv'%date)
24. 
25. feature_matrix = feature_matrix.reindex(index=data_all['id'])       # reindex()函数,重新把列/行根据columns/index参数指定字段顺序整理一遍
26. feature_matrix = feature_matrix.reset_index()                       # reset_index()函数,重新设置dataframe的index,范围为0~len(df)
27. feature_matrix.to_csv('%sfeature_matrix2reset_index01.csv'%date)
28.

 


相关文章
|
8月前
单细胞分析|映射和注释查询数据集
单细胞分析|映射和注释查询数据集
102 3
|
8月前
|
数据采集 机器学习/深度学习 存储
【机器学习】数据清洗——基于Numpy库的方法删除重复点
【机器学习】数据清洗——基于Numpy库的方法删除重复点
235 1
|
8月前
|
数据采集 机器学习/深度学习 Python
【机器学习】数据清洗——基于Pandas库的方法删除重复点
【机器学习】数据清洗——基于Pandas库的方法删除重复点
292 1
|
6月前
|
数据采集 机器学习/深度学习 数据可视化
关于Python数据分析项目的简要概述:从CSV加载数据,执行数据预处理,进行数据探索,选择线性回归模型进行训练,评估模型性能并优化,最后结果解释与可视化。
【7月更文挑战第5天】这是一个关于Python数据分析项目的简要概述:从CSV加载数据,执行数据预处理(填充缺失值,处理异常值),进行数据探索(可视化和统计分析),选择线性回归模型进行训练,评估模型性能并优化,最后结果解释与可视化。此案例展示了数据科学的典型流程。
92 2
|
8月前
|
机器学习/深度学习 SQL 人工智能
人工智能平台PAI 操作报错合集之机器学习PAI缺失值补充报错,从odps读取数据正常 进行下一步时,补充缺失值报错如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
机器学习/深度学习 算法 数据处理
ML之FE:数据处理—特征工程之稀疏特征的简介、如何处理、案例应用之详细攻略
ML之FE:数据处理—特征工程之稀疏特征的简介、如何处理、案例应用之详细攻略
ML之FE:数据处理—特征工程之稀疏特征的简介、如何处理、案例应用之详细攻略
|
机器学习/深度学习 算法
机器学习测试笔记(25)——数据表达(上)
机器学习测试笔记(25)——数据表达(上)
95 0
机器学习测试笔记(25)——数据表达(上)
|
机器学习/深度学习 监控 Devops
机器学习测试笔记(25)——数据表达(下)
机器学习测试笔记(25)——数据表达(下)
131 0
机器学习测试笔记(25)——数据表达(下)
|
数据处理 Python
数据导入与预处理-第6章-04pandas综合案例(下)
数据导入与预处理-第6章-04pandas综合案例 1 pandas综合案例-运动员信息数据 1.1 查看数据 1.2 数据处理与分析
数据导入与预处理-第6章-04pandas综合案例(下)
|
数据处理 Python
数据导入与预处理-第6章-04pandas综合案例(上)
数据导入与预处理-第6章-04pandas综合案例 1 pandas综合案例-运动员信息数据 1.1 查看数据 1.2 数据处理与分析
数据导入与预处理-第6章-04pandas综合案例(上)