《中国人工智能学会通讯》——8.10 特征学习-阿里云开发者社区

开发者社区> 知与谁同> 正文

《中国人工智能学会通讯》——8.10 特征学习

简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第8章,第8.10节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
+关注继续查看

8.10 特征学习

特征的好坏直接影响学习的结果,对于有冗余、噪音特征的数据,特征选择能够简化后续学习模型的复杂度,减少模型运行时间,提高模型精确度。然而特征选择问题不仅是一个 NP 难的优化问题,而且还是一个双目标优化问题:选择尽可能少的特征,同时使学习结果的性能指标尽可能好,可形式化如image
其中,x 是表示每一维特征是否选择的 0/1 向量;f(x) 为特征的性能指标; 表示选择特征的数量。如果将该优化转换为通常的单目标优化,如image,不仅涉及特征个数的目标往往较为复杂,而且如何为特征选择的两个目标选取合适的权重系数也是一个难点。演化算法对于多目标优化问题的适应性,使其可以直接用于处理双目标特征选择问题,而不需要在两个目标之间选择合适的加权系数。因此,多目标演化算法(如 NPGA、NSGA、ELSA 等)已被广泛用于求解该任务,并取得不错性能[4] 。

另一类特征学习任务是特征抽取,当数据的特征语意层次较低时,往往需要抽取出语意信息更加明确的特征。神经网络是常用的一种特征抽取方法,其训练目标除了最小化错误率,往往还需要保持隐含层神经元的稀疏性。以往方法常将这两项带权相加转化成一个单目标优化问题求解,然而,当网络和数据规模很大时,选取合适的权重系数变得极其耗时。文献 [5] 基于自编码神经网络(autoencoder),将其训练过程刻画成一个显式的二目标优化问题:image
其中,第 1 项代表重构误差;第 2 项采用范数代表神经元的稀疏度。该方法基于多目标演化优化算法MOEA/D 算法[6]对该二目标优化问题进行求解,求得一组帕累托最优解后,最终挑选位于帕累托面拐点区域的一个解作为输出[7] ,在手写字体和自然图像数据上的实验结果表明,该方法可以获得有效的稀疏特征表示。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【DB2学习】使用reorgchk 收集表的信息
D:\DB2\BIN>db2 reorgchk update statistics on table yang.bd_corp正在执行 RUNSTATS ....表统计信息:F1: 100 * OVERFLOW / CARD F2: 100 * (数据页的有效空间使用率) > 70F3: 100 * (需要页数 / 总页数) > 80 SCHEMA.
580 0
《中国人工智能学会通讯》——11.18 基于任务层次结构的多任务学习方法
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第11章,第11.18节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
966 0
《中国人工智能学会通讯》——12.59 基于模糊性的半监督学习
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第12章,第12.59节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
1019 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10462 0
DB2 的REORG_学习(1)_REORG INDEXES/TABLE Command
最近写一个DB2的REORG的脚本,因为以前在mysql里面是没有接触过这个REORG的,所以系统了解一下,我的学习的话是先从命令入手,看看这个名的结构,然后还有选项,这些选项会揭示一些这个命令能干什么事,了解了命令,命令的选项之后再去看相关的理论,再结合理解一下应该就会比较清晰一些了。
2730 0
《中国人工智能学会通讯》——2.26 基于深度学习的机器翻译研究进展
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第2章,第2.26节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
1152 0
+关注
10077
文章
2994
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载