一、特征工程流程
结构化比赛中,做特征工程时:
可以先利用统计值筛选特征,比如缺失比例大于99%,或者信息量较少的特征;
然后再做特征编码,在编码后也可以利用模型去筛选特征。
如果原始数据的特征足够有效,就可以不做特征筛选;
利用统计值筛选,比模型筛选靠谱点。
二、类别编码方法
对于类别字段,是one hot、标签编码、频率编码和目标编码都要做吗:
先看类别字段的取值空间,如果不大,可以one hot独热编码。
通过EDA分析频率编码和目标编码是否足够有区分性,再决定做不做。
三、特征交叉
根据特征A和特征B,构造新的特征:A+B、A-B、A*B、group(A)[B]等
可以从EDA先分析,能分析新特征,和标签存在相关性,则可以做。
四、特征筛选
基于模型如何筛选特征:排列重要性、shap value、null importance
如果筛选后分数下降:考虑保留下来,好的筛选方法筛选结果一般不会对精度有很大影响。