特征工程有多重要,可以引用一句话来表达:“数据和特征决定了模型的上限,算法只是在帮忙逼近这个上限。”好的特征是决定一个模型准确率的关键,那问题来了?什么是特征呢,特征就是数据对于结果的一种描述。比如我们形容一个人是否漂亮,那她的眼睛大小、鼻子的形状、脸型都是特征。通常,当获得一份结构化数据的时候,如果这份数据里存在目标列,那么除了目标列每个字段都可以看做是特征,特征工程要做的事情是找到对结果影响最大的特征。
了解了特征的重要性,我们就可以开启这一系列文章的分享了,不过在此之前,有几个概念需要再明确下。特征分哪几种呢?
-
显性特征:可以理解为用户直接可以拿到的数据字段
-
半隐性特征:用户数据在通过GBDT等算法的计算过程中产出的一些特征
-
隐性特征:深度学习在很大程度上可以简化人肉特征工程的工作量,因为深度学习可以在计算过程中自动生成一些特征向量,这些特征的表达往往是不可解释的,那这些特征就是隐性特征。
转自:https://mp.weixin.qq.com/s?__biz=MzA4MDI0NDQyOQ%3D%3D&mid=2447500052&idx=1&sn=07cbbec81ab27f671567794ad4b1ef32&scene=45#wechat_redirect