论文赏析[AAAI18]面向序列建模的元多任务学习(二)

简介: 多任务学习一般的模型是共享特征表示层,也就是最底层的特征表示层是共享的,上层的神经网络都是随具体任务而不同的。但是这有个问题,比如用LSTM对句子进行建模的时候,不同的短语的组合函数是一样的,比如动词+名词、形容词+名词。但是组合函数应该定义成不同的比较好,于是这篇文章提出了针对不同的任务,不同的时刻产生不同的参数矩阵的动态参数生成方法。

Meta-LSTM主要有如下两个优点:

  • 一个就是每个时刻的参数动态生成。
  • 另一个就是比普通的LSTM参数数量更少,因为有SVD分解。

实验


文本分类

文本分类任务是在16个购物网站评论数据集上做的,数据集大小如下所示:

image.png

最后在大多数数据集上,Meta-LSTM都能做到最好结果,具体结果如下:

image.png

序列标注

序列标注任务是在三个数据集上面做的,两个是NER数据集,一个是POS tagging数据集,具体结果如下:

image.png

只能说比最基础的LSTM+CRF模型高了那么一丢丢吧。

总结


本文提出了一种function-level的多任务共享机制,即使用Meta-LSTM来动态产生Basic-LSTM每个时刻的参数矩阵。

看完后我在想,这个动态参数生成的机制能不能用在成分句法分析上面,例如对于top-down的chart-based模型,可以自顶向下通过Tree-LSTM动态产生每一个树结点的参数矩阵,然后用这个参数矩阵来预测结点的label和split。


相关文章
|
Android开发 容器
Android UI设计: 什么是View和ViewGroup?
Android UI设计: 什么是View和ViewGroup?
530 0
|
Java 测试技术 开发工具
Java单元测试之IDEA自动生成测试类
每次对类的方法进行测试,都是手动创建一个Test测试类,然后编写同名的方法,每次这样都会很繁琐,IDEA开发工具提供了自动生成测试类的插件JUnitGenerator,接下来介绍该插件的安装与使用。
4048 0
Java单元测试之IDEA自动生成测试类
|
程序员
美剧《硅谷》第5季第6集观后随感
该剧主要描述硅谷的程序猿发家史,演员大都非常年轻。故事描述四个不善社交但绝顶聪明的计算机程序员受到依靠互联网站发家的百万富翁的特殊照顾。他们可以免费住在他家中,但他们的项目日后如果获得成功,他要拿10%的股份。
1512 0
|
10月前
|
存储 Java 计算机视觉
Java二维数组的使用技巧与实例解析
本文详细介绍了Java中二维数组的使用方法
349 15
|
存储 Oracle 关系型数据库
【数据库-DB2】深入了解DB2 reorg
本文介绍了DB2数据库中reorg操作的重要性,旨在通过重组表数据来消除数据碎片、压缩信息并提高数据访问速度。reorg操作能够根据索引关键字重新排序数据,减少查询I/O次数,提升查询性能。文章详细讲解了reorg的操作步骤、适用场景及注意事项,强调了在执行reorg前后更新统计信息的必要性。
780 2
|
算法 JavaScript 前端开发
程序员需要掌握的 5种编程范式!
本文介绍了编程范式的基本概念及其重要性,详细解析了命令式编程与声明式编程两种主要范式。命令式编程包括面向过程与面向对象编程,强调逐步执行与模块化;声明式编程涵盖函数式、逻辑及响应式编程,注重描述目标而非具体步骤。通过对比各种范式的优缺点及示例代码,帮助读者理解不同场景下的适用性。
498 2
基于PID控制器的四旋翼无人机控制系统的simulink建模与仿真,并输出虚拟现实动画
本项目基于MATLAB2022a的Simulink平台,构建了四旋翼无人机的PID控制模型,实现了无人机升空、下降及再次升空的飞行仿真,并生成了VR虚拟现实动画。通过调整PID参数,优化了无人机的姿态控制性能,展示了无人机在三维空间中的动态行为。
|
存储 关系型数据库 分布式数据库
PolarDB产品使用问题之如何使用本地电脑连接PolarDB数据库
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
设计模式 算法 程序员
如何写出好的代码注释?
作为程序员,想必大家在日常开发中必写注释,而且在软件开发过程中,给代码写注释是一项至关重要的工作,也是一名合格的程序员该具备的编程素养。恰当的注释可以提高代码的可读性和可维护性,方便其他人理解熟悉和修改代码,但是不恰当或过度的注释可能会导致混乱和误导,会起到适得其反的作用。那么本文就来分享一些关于如何正确地给代码写注释的方法和指导原则,并提供一些减少注释但仍能让他人理解代码的方法。
525 3
如何写出好的代码注释?
|
Java 关系型数据库 MySQL
基于Springboot的食品仓库管理系统设计和实现
基于Springboot的食品仓库管理系统设计和实现
236 1