标注模型用于处理有前后关联关系的序列问题。在预测时，它的输入是一个观测序列，该观测序列的元素一般具有前后的关联关系。它的输出是一个标签序列，也就是说，标注模型的输出是一个向量，该向量的每个元素是一个标签，它们与输入序列的元素一一对应。标签的值是有限的离散值。
标注任务
记输入的序列为x=(x^(1),x^(2),…,x^(n))，输出的标签序列为y=(y^(1),y^(2),…,y^(n))。
标注任务分为学习过程和标注过程。
可完成标注任务的模型有概率模型和神经网络模型两类。
概率模型在学习过程学习到从序列x到序列y的条件概率：
概率模型在标注过程按照学习得到的条件概率分布模型，以概率值最大的方式对新的输入序列找到相应的输出标签序列。
具体来讲，就是对一个输入的测试序列x=(x^(1),x^(2),…,x^(n))找到使条件概率P ̂(y^(1),y^(2),…,y^(n)|x^(1),x^(2),…,x^(n))最大的标记序列y ̂=(y ̂^(1),y ̂^(2),…,y ̂^(n))。
神经网络模型在学习过程建立起能正确反映从序列x到序列y的映射关系的神经网络N(S,W)，并在标注过程将测试序列x=(x^(1),x^(2),…,x^(n))馈入神经网络，得到输出序列y ̂=(y ̂^(1),y ̂^(2),…,y ̂^(n))。
目前，用来完成标注任务的神经网络主要是所谓的循环神经网络RNN。
序列问题
实际上，标注只是序列问题中的一种。与序列有关的任务还有序列聚类、序列回归和序列分类等任务，它们也都可以看作机器学习的聚类、回归和分类等任务中的一种。
完成序列任务的神经网络一般是多层的，即深度神经网络。比如，用循环神经网络来完成序列回归任务，像预测气温变化；用卷积神经网络或循环神经网络来完成序列分类任务，像电影评论的自动分类等等。
创作不易 觉得有帮助请点赞关注收藏~~~
