《中国人工智能学会通讯》——11.17 基于聚类规则项的多任务聚类方法-阿里云开发者社区

开发者社区> 知与谁同> 正文

《中国人工智能学会通讯》——11.17 基于聚类规则项的多任务聚类方法

简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第11章,第11.17节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
+关注继续查看

11.17 基于聚类规则项的多任务聚类方法

多任务学习方法能够对交通路网中的多个节点同时进行分析,这满足了交通的网络性特点所提出的要求。进一步的,异质的多任务学习方法又对应了交通中关联关系的异质性特点。图 2 给出了我国山西省高速交通路网的交通流分配情况,可以看出,交通路网中异质的车流常常存在局部集中的特点,如果将这些车流集中的局部区域标记出来,则可以得到图中的聚类模式。假设当前要学习的任务是高速路网中出口流量的预测问题,那么图 2(a) 则表示出了这些预测任务的聚类模式示意图,图中红色的虚线圆圈可以看作出口的聚类,其意义在于同一个类簇中的出口预测任务是高度相关的,那么相应的基于任务聚类的多任务学习方法便可以应用于交通流分析。然而,将目前已有的多任务聚类方法直接应用于交通场景并不恰当,因为目前的基于任务聚类的多任务学习方法都需要在学习之前先指定任务类簇的数目,但这一数目在真实交通问题中是未知的,例如图 2(a) 中虚线圆圈的个数。本章针对现有基于任务聚类的多任务学习方法的不足,提出了一种基于聚类规则项的多任务聚类方法 (CRMTL, Clustered Regularization based Multi-Task Learning)。该方法采用一种新颖的聚类规则项,其优点在于不需要事先指定任务聚类的个数,而是从数据中自主地学习出聚类结构。该模型的目标函数形式如下:image
其中,y i 和 X i 分别为第 i 个任务 ( 共 m 个任务 ) 的输入和输出;W 为模型参数,w i 为矩阵 W 的第 i 列;λ 为规则项系数。式 (1) 中的第一项为损失函数;第二项为聚类规则项,该规则项对任意两个任务列向量的差值添加第二范式,其作用是迫使任意两个任务 i 和 j 尽可能的相似,从而将相似的任务聚类。λ控制了聚类的强度,当 λ 越大时,聚类的个数越少。上述聚类规则项的优点是不需要事先给定任务聚类的数目,而是通过规则项对任务列向量进行约束,从数据中自主地学习出任务聚类模式。image
注意,式 (1) 中的聚类规则项image 不同于特征学习中的特征聚类规则项 Fused Lasso [3] 。Fused Lasso 规则项用于对特征进行聚类,其特点是对任意两个标量做差,然后取所有差值的绝对值的和作为规则项。而式 (1) 中的聚类规则项是对任意两个向量做差,然后取所有差值向量的第二范式的求和作为规则项。求解基于向量差值的规则项要比求解基于标量差值的规则项更困难[4] 。

命题 1 式 (1) 中的目标函数为凸函数 (Convex),其中的聚类规则项为非光滑 (Non-Smooth) 函数。

命题 1 给出了 CRMTL 模型目标函数的求解性质。虽然式 (1) 中的优化问题为凸函数优化问题,然而聚类规则项却为非光滑的函数。这使得式 (1)的梯度无法直接求得,因此基于梯度的优化方法无法直接使用。在机器学习方法中,常用的处理非光滑函数的方法为次梯度 (Sub-Gradient) 法[5] ,然而该方法的计算非常耗时。因此,求解 CRMTL 模型较为困难。本文提出了一种针对 CRMTL 的高效光滑近似优化算法 ( 详细内容请参看全文 )。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
线程执行者(六)运行多个任务并处理所有结果
声明:本文是《 Java 7 Concurrency Cookbook 》的第四章,作者: Javier Fernández González 译者:许巧辉 校对:方腾飞,叶磊 运行多个任务并处理所有结果 执行者框架允许你在不用担心线程创建和执行的情况下,并发的执行任务。
1013 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4477 0
PostgreSQL dblink异步调用实践,跑并行多任务 - 例如开N个并行后台任务创建索引, 开N个后台任务跑若干SQL
标签 PostgreSQL , 后台任务 , DBLINK 异步调用 背景 使用DBLINK异步接口,可以非常方便的实现跑后台任务,如果要让数据库执行若干条SQL,开N个并行执行,同样可以使用DBLINK封装成API进行调用。
926 0
基于post-click行为分解的全空间多任务转化率预估建模 | sigir论文解读
随着移动互联网的兴起,从海量的数据中挖掘出有价值的信息并呈现给用户,已成了电商、 社交、新闻等主流应用的核心功能,推荐系统正是在这样的背景下诞生的。
1054 0
基于多任务学习和负反馈的深度召回模型
召回结果的好坏对整个推荐结果有着至关重要的影响,最近的一系列实践和研究表明,基于行为序列的深度学习推荐模型搭配高性能的近似检索算法可以实现既准又快的召回性能;与此同时,用户在天猫精灵上还可以进行实时指令操控(歌名点播:“播放七里香”、风格流派推荐点播:“来点摇滚”、主动切歌:“下一首”等),如何利用这些丰富的反馈信息改进召回模型的性能,他们是怎么做的呢?
1092 0
android 关于多任务下载问题
关于多任务下载问题    近期项目中,遇到一个问题,列表数据中的图片地址是一个需要下载JS再解析的字段,之前的图片下载是一个异步的过程,由一个队列处理。   Android系统以不同寻常的方式处理多个应用程序的同时运行。
641 0
+关注
10077
文章
2994
问答
来源圈子
更多
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载