AI 助理
备案控制台
开发者社区 人工智能 文章 正文

斯坦福NLP课程 | 第6讲 - 循环神经网络与语言模型

2022-05-08 1174
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
NLP 自学习平台，3个模型定制额度 1个月
NLP自然语言处理_高级版，每接口累计50万次
NLP自然语言处理_基础版，每接口每天50万次
简介： NLP课程第6讲介绍一个新的NLP任务 Language Modeling (motivate RNNs) ，介绍一个新的神经网络家族 Recurrent Neural Networks (RNNs)。

ShowMeAI研究中心

作者：韩信子@ShowMeAI，路遥@ShowMeAI，奇异果@ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/36
本文地址：http://www.showmeai.tech/article-detail/240
声明：版权所有，转载请联系平台与作者并注明出处

收藏ShowMeAI查看更多精彩内容

循环神经网络与语言模型

ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！

语言模型、RNN、GRU与LSTM

本讲内容的深度总结教程可以在这里 查看。视频和课件等资料的获取方式见文末。

引言

语言模型与RNN

（本篇内容也可以参考ShowMeAI的对吴恩达老师课程的总结文章深度学习教程 | 序列模型与RNN网络）

概述

概述

  • 介绍一个新的NLP任务

    • Language Modeling 语言模型

  • 介绍一个新的神经网络家族

    • Recurrent Neural Networks (RNNs)

1.语言模型

1.1 语言模型

语言模型

语言建模的任务是预测下一个单词是什么

更正式的说法是：给定一个单词序列 equation?tex=%5Cboldsymbol%7Bx%7D%5E%7B%281%29%7D%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%282%29%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%28t%29%7D，计算下一个单词 equation?tex=x%5E%7B%28t%2B1%29%7D 的概率分布：

equation?tex=P%5Cleft%28%5Cboldsymbol%7Bx%7D%5E%7B%28t%2B1%29%7D%20%5Cmid%20%5Cboldsymbol%7Bx%7D%5E%7B%28t%29%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%281%29%7D%5Cright%29

  • 其中，equation?tex=x%5E%7B%28t%2B1%29%7D 可以是词表中的任意单词 equation?tex=V%3D%5Cleft%5C%7B%5Cboldsymbol%7Bw%7D_%7B1%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bw%7D_%7B%7CV%7C%7D%5Cright%5C%7D
  • 这样做的系统称为 Language Model 语言模型

1.2 语言模型

语言模型

  • 还可以将语言模型看作评估一段文本是自然句子（通顺度）的概率
  • 例如，如果我们有一段文本 equation?tex=x%5E%7B%281%29%7D%2C%5Cdots%2Cx%5E%7B%28T%29%7D，则这段文本的概率(根据语言模型)为

equation?tex=%5Cbegin%7Baligned%7D%20%20P%5Cleft%28%5Cboldsymbol%7Bx%7D%5E%7B%281%29%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%28T%29%7D%5Cright%29%20%26%3DP%5Cleft%28%5Cboldsymbol%7Bx%7D%5E%7B%281%29%7D%5Cright%29%20%5Ctimes%20P%5Cleft%28%5Cboldsymbol%7Bx%7D%5E%7B%282%29%7D%20%5Cmid%20%5Cboldsymbol%7Bx%7D%5E%7B%281%29%7D%5Cright%29%20%5Ctimes%20%5Ccdots%20%5Ctimes%20P%5Cleft%28%5Cboldsymbol%7Bx%7D%5E%7B%28T%29%7D%20%5Cmid%20%20%5Cboldsymbol%7Bx%7D%5E%7B%28T-1%29%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%281%29%7D%5Cright%29%20%5C%5C%20%20%26%3D%5Cprod_%7Bt%3D1%7D%5E%7BT%7D%20P%5Cleft%28%5Cboldsymbol%7Bx%7D%5E%7B%28t%29%7D%20%5Cmid%20%5Cboldsymbol%7Bx%7D%5E%7B%28t-1%29%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%281%29%7D%5Cright%29%20%20%5Cend%7Baligned%7D

  • 语言模型提供的是 equation?tex=%5Cprod_%7Bt%3D1%7D%5E%7BT%7D%20P%5Cleft%28%5Cboldsymbol%7Bx%7D%5E%7B%28t%29%7D%20%5Cmid%20%5Cboldsymbol%7Bx%7D%5E%7B%28t-1%29%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%281%29%7D%5Cright%29

1.3 随处可见的语言模型

随处可见的语言模型

1.4 随处可见的语言模型

随处可见的语言模型

1.5 n-gram 语言模型

n-gram 语言模型

the students opened their __

  • 问题：如何学习一个语言模型？
  • 回答(深度学习之前的时期)：学习一个 n-gram 语言模型

  • 定义：n-gram是一个由 equation?tex=n 个连续单词组成的块

    • unigrams: the, students, opened, their
    • bigrams: the students, students opened, opened their
    • trigrams: the students opened, students opened their
    • 4-grams: the students opened their
  • 想法：收集关于不同 n-gram 出现频率的统计数据，并使用这些数据预测下一个单词

1.6 n-gram 语言模型

n-gram 语言模型

  • 首先，我们做一个简化假设：equation?tex=x%5E%7B%28t%2B1%29%7D 只依赖于前面的 equation?tex=n-1 个单词

equation?tex=%5Cbegin%7Baligned%7D%20P%5Cleft(%5Cboldsymbol%7Bx%7D%5E%7B(t%2B1)%7D%20%5Cmid%20%5Cboldsymbol%7Bx%7D%5E%7B(t)%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B(1)%7D%5Cright)%20%26%20%3DP%5Cleft(%5Cboldsymbol%7Bx%7D%5E%7B(t%2B1)%7D%20%5Cmid%20%20%5Cboldsymbol%7Bx%7D%5E%7B(t)%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B(t-n%2B2)%7D%5Cright)%5C%5C%20%26%3D%5Cfrac%7BP%5Cleft(%5Cboldsymbol%7Bx%7D%5E%7B(t%2B1)%7D%2C%20%5Cboldsymbol%7Bx%7D%5E%7B(t)%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B(t-n%2B2)%7D%5Cright)%7D%7BP%5Cleft(%5Cboldsymbol%7Bx%7D%5E%7B(t)%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B(t-n%2B2)%7D%5Cright)%7D

  • 问题：如何得到n-gram和(n-1)-gram的概率？
  • 回答：通过在一些大型文本语料库中计算它们(统计近似)

equation?tex=%5Capprox%20%5Cfrac%7B%5Coperatorname%7Bcount%7D%5Cleft%28%5Cboldsymbol%7Bx%7D%5E%7B%28t%2B1%29%7D%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%28t%29%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%28t-n%2B2%29%7D%5Cright%29%7D%7B%5Coperatorname%7Bcount%7D%5Cleft%28%5Cboldsymbol%7Bx%7D%5E%7B%28t%29%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%28t-n%2B2%29%7D%5Cright%29%7D

1.7 n-gram 语言模型：示例

n-gram 语言模型：示例

假设我们正在学习一个 4-gram 的语言模型

  • 例如，假设在语料库中：

    • students opened their 出现了equation?tex=1000次
    • students opened their books 出现了equation?tex=400次

equation?tex=P%28%5Ctext%7Bbooks%7D%20%5Cmid%20%5Ctext%7Bstudents%20opened%20their%7D%29%3D0.4

  • students opened their exams 出现了equation?tex=100次

equation?tex=P%28%20%5Ctext%7Bexams%7D%20%5Cmid%20%5Ctext%7Bstudents%20opened%20their%7D%29%3D0.1

  • 我们应该忽视上下文中的 proctor 吗？

    • 在本例中，上下文里出现了 proctor，所以 exams 在这里的上下文中应该是比 books 概率更大的。

1.8 n-gram语言模型的稀疏性问题

n-gram 语言模型的稀疏性问题

  • 问题1：如果students open their ww 从未出现在数据中，那么概率值为equation?tex=0
  • (Partial)解决方案：为每个 equation?tex=w%20%5Cin%20V 添加极小数 equation?tex=%5Cdelta ，这叫做平滑。这使得词表中的每个单词都至少有很小的概率。
  • 问题2：如果students open their 从未出现在数据中，那么我们将无法计算任何单词 equation?tex=w 的概率值
  • (Partial)解决方案：将条件改为open their，也叫做后退处理。
  • Note/注意: equation?tex=n 的增加使稀疏性问题变得更糟。一般情况下 equation?tex=n 不能大于equation?tex=5。

1.9 n-gram语言模型的存储问题

n-gram 语言模型的存储问题

问题：需要存储你在语料库中看到的所有 n-grams 的计数

增加 equation?tex=n 或增加语料库都会增加模型大小

1.10 n-gram 语言模型在实践中的应用

Try for yourself: https://nlpforhackers.io/language-models/

n-gram 语言模型在实践中的应用

  • 你可以在你的笔记本电脑上，在几秒钟内建立一个超过170万个单词库(Reuters)的简单的三元组语言模型

    • Reuters 是 商业和金融新闻的数据集

稀疏性问题：

  • 概率分布的粒度不大。today the company和today he bank都是4/26，都只出现过四次

1.11 n-gram语言模型的生成文本

n-gram 语言模型的生成文本

  • 可以使用语言模型来生成文本
  • 使用trigram运行以上生成过程时，会得到上图左侧的文本
  • 令人惊讶的是其具有语法但是是不连贯的。如果我们想要很好地模拟语言，我们需要同时考虑三个以上的单词。但增加 equation?tex=n 使模型的稀疏性问题恶化，模型尺寸增大

1.12 如何搭建一个神经语言模型？

如何搭建一个神经语言模型？

  • 回忆一下语言模型任务

    • 输入：单词序列 equation?tex=%5Cboldsymbol%7Bx%7D%5E%7B%281%29%7D%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%282%29%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%28t%29%7D
    • 输出：下一个单词的概

      equation?tex=P%5Cleft%28%5Cboldsymbol%7Bx%7D%5E%7B%28t%2B1%29%7D%20%5Cmid%20%5Cboldsymbol%7Bx%7D%5E%7B%28t%29%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%281%29%7D%5Cright%29

      率分布
  • window-based neural model 在第三讲中被用于NER问题

1.13 固定窗口的神经语言模型

固定窗口的神经语言模型

  • 使用和NER问题中同样网络结构

1.14 固定窗口的神经语言模型

固定窗口的神经语言模型

1.15 固定窗口的神经语言模型

固定窗口的神经语言模型

超越 n-gram 语言模型的改进

  • 没有稀疏性问题
  • 不需要观察到所有的n-grams

NNLM存在的问题

  • 固定窗口太小
  • 扩大窗口就需要扩大权重矩阵equation?tex=W
  • 窗口再大也不够用
  • equation?tex=x%5E%7B%281%29%7D和 equation?tex=x%5E%7B%282%29%7D 乘以完全不同的权重。输入的处理不对称

我们需要一个神经结构，可以处理任何长度的输入

2.循环神经网络(RNN)

2.1 循环神经网络(RNN)

循环神经网络(RNN)

  • 核心想法：重复使用相同的权重矩阵equation?tex=W

2.2 RNN语言模型

RNN语言模型

2.3 RNN语言模型

RNN语言模型

  • RNN的优点

    • 可以处理任意长度的输入
    • 步骤 equation?tex=t 的计算(理论上)可以使用许多步骤前的信息
    • 模型大小不会随着输入的增加而增加
    • 在每个时间步上应用相同的权重，因此在处理输入时具有对称性

  • RNN的缺点

    • 循环串行计算速度慢
    • 在实践中，很难从许多步骤前返回信息

2.4 训练一个RNN语言模型

训练一个RNN语言模型

  • 获取一个较大的文本语料库，该语料库是一个单词序列

  • 输入RNN-LM；计算每个步骤 equation?tex=t 的输出分布

    • 即预测到目前为止给定的每个单词的概率分布
  • 步骤 equation?tex=t 上的损失函数为预测概率分布 equation?tex=%5Chat%7B%5Cboldsymbol%7By%7D%7D%5E%7B%28t%29%7D 与真实下一个单词equation?tex=%7B%5Cboldsymbol%7By%7D%7D%5E%7B%28t%29%7D (equation?tex=x%5E%7B%28t%2B1%29%7D的独热向量)之间的交叉熵

equation?tex=J%5E%7B%28t%29%7D%28%5Ctheta%29%3DC%20E%5Cleft%28%5Cboldsymbol%7By%7D%5E%7B%28t%29%7D%2C%20%5Chat%7B%5Cboldsymbol%7By%7D%7D%5E%7B%28t%29%7D%5Cright%29%3D-%5Csum_%7Bw%20%5Cin%20V%7D%20%5Cboldsymbol%7By%7D_%7Bw%7D%5E%7B%28t%29%7D%20%5Clog%20%5Chat%7B%5Cboldsymbol%7By%7D%7D_%7Bw%7D%5E%7B%28t%29%7D%3D-%5Clog%20%5Chat%7B%5Cboldsymbol%7By%7D%7D_%7B%5Cboldsymbol%7Bx%7D_%7Bt%2B1%7D%7D%5E%7B%28t%29%7D

  • 将其平均，得到整个训练集的总体损失

equation?tex=J%28%5Ctheta%29%3D%5Cfrac%7B1%7D%7BT%7D%20%5Csum_%7Bt%3D1%7D%5E%7BT%7D%20J%5E%7B%28t%29%7D%28%5Ctheta%29%3D%5Cfrac%7B1%7D%7BT%7D%20%5Csum_%7Bt%3D1%7D%5E%7BT%7D-%5Clog%20%5Chat%7B%5Cboldsymbol%7By%7D%7D_%7B%5Cboldsymbol%7Bx%7D_%7Bt%2B1%7D%7D%5E%7B%28t%29%7D

2.5 训练一个RNN语言模型

训练一个RNN语言模型

equation?tex=J%5E%7B%281%29%7D%28%5Ctheta%29%2BJ%5E%7B%282%29%7D%28%5Ctheta%29%2BJ%5E%7B%283%29%7D%28%5Ctheta%29%2BJ%5E%7B%284%29%7D%28%5Ctheta%29%2B%5Ccdots%3DJ%28%5Ctheta%29%3D%5Cfrac%7B1%7D%7BT%7D%20%5Csum_%7Bt%3D1%7D%5E%7BT%7D%20J%5E%7B%28t%29%7D%28%5Ctheta%29

2.6 训练一个RNN语言模型

训练一个RNN语言模型

  • 然而：计算整个语料库 equation?tex=%5Cboldsymbol%7Bx%7D%5E%7B%281%29%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%28T%29%7D 的损失和梯度太昂贵了

equation?tex=J%28%5Ctheta%29%3D%5Cfrac%7B1%7D%7BT%7D%20%5Csum_%7Bt%3D1%7D%5E%7BT%7D%20J%5E%7B%28t%29%7D%28%5Ctheta%29

  • 在实践中，我们通常将 equation?tex=%5Cboldsymbol%7Bx%7D%5E%7B%281%29%7D%2C%20%5Cldots%2C%20%5Cboldsymbol%7Bx%7D%5E%7B%28T%29%7D 看做一个句子或是文档
  • 回忆：随机梯度下降允许我们计算小块数据的损失和梯度，并进行更新
  • 计算一个句子的损失 equation?tex=J%28%5Ctheta%29 (实际上是一批句子)，计算梯度和更新权重。重复上述操作。

2.7 RNN的反向传播

RNN的反向传播

  • 问题：关于 重复的 权重矩阵 equation?tex=W_h 的偏导数 equation?tex=J%5E%7B%28t%29%7D%28%5Ctheta%29
  • 回答：重复权重的梯度是每次其出现时的梯度的总和

equation?tex=%5Cfrac%7B%5Cpartial%20J%5E%7B%28t%29%7D%7D%7B%5Cpartial%20%5Cboldsymbol%7BW%7D_%7B%5Cboldsymbol%7Bh%7D%7D%7D%3D%5Csum_%7Bi%3D1%7D%5E%7Bt%7D%5Cleft.%5Cfrac%7B%5Cpartial%20J%5E%7B%28t%29%7D%7D%7B%5Cpartial%20%5Cboldsymbol%7BW%7D_%7B%5Cboldsymbol%7Bh%7D%7D%7D%5Cright%7C_%7B%28i%29%7D

2.8 多变量链式法则

Source: https://www.khanacademy.org/math/multivariable-calculus/multivariable-derivatives/differentiating-vector-valued-functions/a/multivariable-chain-rule-simple-version

多变量链式法则

  • 对于一个多变量函数 equation?tex=f%28x%2Cy%29 和两个单变量函数 equation?tex=x%28t%29 和 equation?tex=y%28t%29，其链式法则如下：

equation?tex=%5Cfrac%7Bd%7D%7Bd%20t%7D%20f%28x%28t%29%2C%20y%28t%29%29%3D%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%7D%20%5Cfrac%7Bd%20x%7D%7Bd%20t%7D%2B%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20y%7D%20%5Cfrac%7Bd%20y%7D%7Bd%20t%7D

2.9 RNN的反向传播：简单证明

RNN的反向传播：简单证明

  • 对于一个多变量函数 equation?tex=f%28x%2Cy%29 和两个单变量函数 equation?tex=x%28t%29 和 equation?tex=y%28t%29，其链式法则如下：

equation?tex=%5Cfrac%7Bd%7D%7Bd%20t%7D%20f%28x%28t%29%2C%20y%28t%29%29%3D%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%7D%20%5Cfrac%7Bd%20x%7D%7Bd%20t%7D%2B%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20y%7D%20%5Cfrac%7Bd%20y%7D%7Bd%20t%7D

2.10 RNN的反向传播

RNN的反向传播

  • 问题：如何计算？
  • 回答：反向传播的时间步长 equation?tex=i%3Dt%2C%5Cdots%2C0。累加梯度。这个算法叫做 “backpropagation through time”

2.11 RNN语言模型的生成文本

RNN语言模型的生成文本

  • 就像n-gram语言模型一样，你可以使用RNN语言模型通过重复采样来生成文本。采样输出是下一步的输入。

2.12 RNN语言模型的生成文本

Source: https://medium.com/@samim/obama-rnn-machine-generated-political-speeches-c8abd18a2ea0

Source: https://medium.com/deep-writing/harry-potter-written-by-artificial-intelligence-8a9431803da6

Source: https://gist.github.com/nylki/1efbaa36635956d35bcc

RNN语言模型的生成文本

Source: http://aiweirdness.com/post/160776374467/new-paint-colors-invented-by-neural-network

RNN语言模型的生成文本

补充讲解

  • 相比n-gram更流畅，语法正确，但总体上仍然很不连贯
  • 食谱的例子中，生成的文本并没有记住文本的主题是什么

  • 哈利波特的例子中，甚至有体现出了人物的特点，并且引号的开闭也没有出现问题

    • 也许某些神经元或者隐藏状态在跟踪模型的输出是否在引号中

  • RNN是否可以和手工规则结合？

    • 例如Beam Serach，但是可能很难做到

3.评估语言模型

3.1 评估语言模型

评估语言模型

  • 标准语言模型评估指标是 perplexity 困惑度
  • 这等于交叉熵损失 equation?tex=J%28%5Ctheta%29 的指数

%20T%7D%3D%5Cexp%20%5Cleft%28%5Cfrac%7B1%7D%7BT%7D%20%5Csum_%7Bt%3D1%7D%5E%7BT%7D-%5Clog%20%5Chat%7B%5Cboldsymbol%7By%7D%7D_%7B%5Cboldsymbol%7Bx%7D_%7Bt%2B1%7D%7D%5E%7B%28t%29%7D%5Cright%29%3D%5Cexp%20%28J%28%5Ctheta%29%29

  • 困惑度越低效果越好

3.2 RNN极大地改善了困惑度

Source: https://research.fb.com/building-an-efficient-neural-language-model-over-a-billion-words/

RNN极大地改善了复杂度

3.3 为什么我们要关心语言模型？

为什么我们要关心语言模型？

  • 语言模型是一项基准测试任务，它帮助我们衡量我们在理解语言方面的 进展

    • 生成下一个单词，需要语法，句法，逻辑，推理，现实世界的知识等

  • 语言建模是许多NLP任务的子组件，尤其是那些涉及生成文本或估计文本概率的任务

    • 预测性打字、语音识别、手写识别、拼写/语法纠正、作者识别、机器翻译、摘要、对话等等

3.4 要点回顾

要点回顾

  • 语言模型：预测下一个单词的系统

  • 循环神经网络：一系列神经网络

    • 采用任意长度的顺序输入
    • 在每一步上应用相同的权重
    • 可以选择在每一步上生成输出
  • 循环神经网络 equation?tex=%5Cne 语言模型
  • 我们已经证明，RNNs是构建LM的一个很好的方法。
  • 但RNNs的用处要大得多!

3.5 RNN可用于句子分类

RNN可用于句子分类

  • 如何计算句子编码
  • 基础方式：使用最终隐层状态
  • 通常更好的方式：使用所有隐层状态的逐元素最值或均值
  • Encoder的结构在NLP中非常常见

3.6 RNN语言模型可用于生成文本

RNN语言模型可用于生成文本

  • 这是一个条件语言模型的示例。我们使用语言模型组件，并且最关键的是，我们根据条件来调整它

4.视频教程

可以点击 B站 查看视频的【双语字幕】版本

5.参考资料

ShowMeAI 系列教程推荐

自然语言处理(NLP)系列教程

斯坦福 CS224n 课程带学详解

ShowMeAI用知识加速每一次技术成长

文章标签：
自然语言处理
Python
计算机视觉
语音技术
自然语言处理
机器学习/深度学习
数据挖掘
文字识别
人工智能
算法
存储
关键词：
自然语言处理神经网络
nlp神经网络
自然语言处理语言模型
nlp网络
课程网络
ShowMeAI
目录
相关文章
拓端数据部落
|
7月前
|
机器学习/深度学习 自然语言处理 数据可视化
数据代码分享|PYTHON用NLP自然语言处理LSTM神经网络TWITTER推特灾难文本数据、词云可视化
数据代码分享|PYTHON用NLP自然语言处理LSTM神经网络TWITTER推特灾难文本数据、词云可视化
拓端数据部落
103 1
阿旭算法与机器学习
|
6月前
|
机器学习/深度学习 自然语言处理 算法
【从零开始学习深度学习】49.Pytorch_NLP项目实战：文本情感分类---使用循环神经网络RNN
【从零开始学习深度学习】49.Pytorch_NLP项目实战：文本情感分类---使用循环神经网络RNN
阿旭算法与机器学习
86 1
游客wkzdk2qklv76k
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
7.1 NLP经典神经网络 RNN LSTM
该文章介绍了自然语言处理中的情感分析任务，探讨了如何使用深度神经网络，特别是循环神经网络（RNN）和长短时记忆网络（LSTM），来处理和分析文本数据中的复杂情感倾向。
游客wkzdk2qklv76k
69 0
VipSoft
|
4月前
|
机器学习/深度学习 自然语言处理
自然语言处理 Paddle NLP - 预训练语言模型及应用
自然语言处理 Paddle NLP - 预训练语言模型及应用
VipSoft
32 0
阿旭算法与机器学习
|
6月前
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】50.Pytorch_NLP项目实战：卷积神经网络textCNN在文本情感分类的运用
【从零开始学习深度学习】50.Pytorch_NLP项目实战：卷积神经网络textCNN在文本情感分类的运用
阿旭算法与机器学习
75 0
拓端数据部落
|
7月前
|
机器学习/深度学习 自然语言处理 算法框架/工具
python用于NLP的seq2seq模型实例:用Keras实现神经网络机器翻译
python用于NLP的seq2seq模型实例:用Keras实现神经网络机器翻译
拓端数据部落
63 5
游客qf4jmczx4xu2y
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用与挑战
【10月更文挑战第3天】本文将探讨AI技术在自然语言处理（NLP）领域的应用及其面临的挑战。我们将分析NLP的基本原理，介绍AI技术如何推动NLP的发展，并讨论当前的挑战和未来的趋势。通过本文，读者将了解AI技术在NLP中的重要性，以及如何利用这些技术解决实际问题。
游客qf4jmczx4xu2y
98 3
ShaFaChuang-36210
|
3月前
|
机器学习/深度学习 数据采集 自然语言处理
深度学习在自然语言处理中的应用与挑战
本文探讨了深度学习技术在自然语言处理（NLP）领域的应用，包括机器翻译、情感分析和文本生成等方面。同时，讨论了数据质量、模型复杂性和伦理问题等挑战，并提出了未来的研究方向和解决方案。通过综合分析，本文旨在为NLP领域的研究人员和从业者提供有价值的参考。
ShaFaChuang-36210
80 5
龙大吉
|
2月前
|
自然语言处理 算法 Python
自然语言处理（NLP）在文本分析中的应用：从「被动收集」到「主动分析」
【10月更文挑战第9天】自然语言处理（NLP）在文本分析中的应用：从「被动收集」到「主动分析」
龙大吉
50 4
mrq4nk6ni2neg
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI在自然语言处理中的创新应用
【10月更文挑战第7天】本文将深入探讨人工智能在自然语言处理领域的最新进展，揭示AI技术如何改变我们与机器的互动方式，并展示通过实际代码示例实现的具体应用。
mrq4nk6ni2neg
39 1

热门文章

最新文章

  • 1
    深度学习和自然语言处理：诠释词向量的魅力
  • 2
    2017年度最值得读的AI论文 | NLP篇 · 评选结果公布
  • 3
    大厂技术实现 | 详解知识图谱的构建全流程 @自然语言处理系列
  • 4
    为了理解自然语言，聊天机器人还要走很多“歪路”
  • 5
    自然语言处理商业化发布
  • 6
    魔搭中文开源模型社区：模型即服务-大模型驱动的自然语言开放生态（上）
  • 7
    独家 | 谷歌发布NLP最先进预训练模型：开源BERT
  • 8
    微软职位内部推荐-Senior NLP Scientist
  • 9
    魔搭中文开源模型社区：模型即服务-大模型驱动的自然语言开放生态（中）
  • 10
    微软职位内部推荐-Senior NLP Scientist & Developer
  • 1
    【Python实战】——神经网络识别手写数字（三）
    58
  • 2
    【Python实战】——神经网络识别手写数字（二）
    91
  • 3
    【Python实战】——神经网络识别手写数字（一）
    101
  • 4
    用人工神经网络对混凝土的强度进行建模
    72
  • 5
    LabVIEW利用人工神经网络辅助进行结冰检测
    43
  • 6
    LabVIEW开发基于神经网络的自动汽车制动系统
    47
  • 7
    Python深度学习基于Tensorflow（6）神经网络基础
    57
  • 8
    使用Python实现循环神经网络（RNN）的博客教程
    742
  • 9
    使用Python实现卷积神经网络（CNN）
    411
  • 10
    MATLAB|【免费】概率神经网络的分类预测--基于PNN的变压器故障诊断
    61

    • 相关课程

    更多
  • 云网络白皮书-阿里云网络系列课
  • 企业上云攻略-阿里云网络产品应用系列教程
  • Linux网络进阶 - TCP/IP协议及OSI七层模型
  • 网络管理者必知-2分钟了解新出台的《网络安全法》
  • 达摩院NLP（自然语言处理）技术和应用
  • 达摩院自然语言处理NLP技术和应用

    • 相关电子书

    更多
  • 自然语言处理得十个发展趋势
  • 自然语言处理的十个发展趋势
  • 深度学习与自然语言处理

    • 相关实验场景

    更多
  • 如何快速训练大模型
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • PolarDB NL2SQL：自然语言驱动的数据智能
  • 容器的网络入门
  • 容器的自定义网络
  • 容器的共享网络模型
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月