用于NLP的Python:使用Keras进行深度学习文本生成

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
NLP自然语言处理_基础版,每接口每天50万次
NLP 自学习平台,3个模型定制额度 1个月
简介: 用于NLP的Python:使用Keras进行深度学习文本生成

文本生成是NLP的最新应用之一。深度学习技术已用于各种文本生成任务,例如写作诗歌,生成电影脚本甚至创作音乐。但是,在本文中,我们将看到一个非常简单的文本生成示例,其中给定输入的单词字符串,我们将预测下一个单词。我们将使用莎士比亚著名小说《麦克白》的原始文本,并根据给定的一系列输入单词来预测下一个单词。

完成本文之后,您将能够使用所选的数据集执行文本生成

导入库和数据集

第一步是导入执行本文中的脚本所需的库以及数据集。以下代码导入所需的库:

import numpy as np
from keras.models import Sequential, load_model
from keras.layers import Dense, Embedding, LSTM, Dropout

下一步是下载数据集。我们将使用Python的NLTK库下载数据集。

download('gutenberg')

您应该看到以下输出:

\['austen-emma.txt', 'austen-persuasion.txt', 'austen-sense.txt', 'bible-kjv.txt', 'blake-poems.txt', 'bryant-stories.txt', 'burgess-busterbrown.txt', 'carroll-alice.txt', 'chesterton-ball.txt', 'chesterton-brown.txt', 'chesterton-thursday.txt', 'edgeworth-parents.txt', 'melville-moby_dick.txt', 'milton-paradise.txt', 'shakespeare-caesar.txt', 'shakespeare-hamlet.txt', 'shakespeare-macbeth.txt', 'whitman-leaves.txt'\]

该文件包含小说“ Macbeth”的原始文本。要从此文件读取文本,可以使用类中的raw方法:

macbeth_text = corpus.gutenberg.raw('shakespeare-macbeth.txt')

让我们从数据集中输出前500个字符:

print(macbeth_text\[:500\])

这是输出:

Actus Primus. Scoena Prima.
Thunder and Lightning. Enter three Witches.
  1. When shall we three meet againe?
In Thunder, Lightning, or in Raine?
  2. When the Hurley-burley's done,
When the Battaile's lost, and wonne
   3. That will be ere the set of Sunne
   1. Where the place?
  2. Vpon the Heath
   3. There to meet with Macbeth
   1. I come, Gray-Malkin
   All. Padock calls anon: faire is foule, and foule is faire,
Houer through

您会看到文本包含许多特殊字符和数字。下一步是清理数据集。

数据预处理

要删除标点符号和特殊字符,我们将定义一个名为的函数preprocess_text()

def preprocess_text(sen):
    # 删除标点符号和数字
    sentence = re.sub('\[^a-zA-Z\]', ' ', sen)
...
    return sentence.lower()

preprocess_text函数接受文本字符串作为参数,并以小写形式返回清理后的文本字符串。

现在让我们清理文本,然后再次输出前500个字符:

macbeth\_text = preprocess\_text(macbeth_text)
macbeth_text\[:500\]

这是输出:

the tragedie of macbeth by william shakespeare actus primus scoena prima thunder and lightning enter three witches when shall we three meet againe in thunder lightning or in raine when the hurley burley done when the battaile lost and wonne that will be ere the set of sunne where the place vpon the heath there to meet with macbeth come gray malkin all padock calls anon faire is foule and foule is faire houer through the fogge and filthie ayre exeunt scena secunda alarum within enter king malcom

将单词转换为数字

深度学习模型基于统计算法。因此,为了使用深度学习模型,我们需要将单词转换为数字。

在本文中,我们将使用一种非常简单的方法,将单词转换为单个整数。在将单词转换为整数之前,我们需要将文本标记为单个单词

以下脚本标记我们数据集中的文本,然后输出数据集中的单词总数以及数据集中的唯一单词总数:

from nltk.tokenize import word_tokenize
...
print('Total Words: %d' % n_words)
print('Unique Words: %d' % unique_words)

输出这样:

Total Words: 17250
Unique Words: 3436

我们的文字总共有17250个单词,其中3436个单词是唯一的。要将标记化的单词转换为数字,可以使用模块中的keras.preprocessing.text。您需要调用该fit_on_texts方法并将其传递给单词列表。将创建一个字典,其中的键将代表单词,而整数将代表字典的相应值。

看下面的脚本:

from keras.preprocessing.text import Tokenizer
...

要访问包含单词及其相应索引的字典,word_index可以使用tokenizer对象的属性:

vocab\_size = len(tokenizer.word\_index) + 1
word\_2\_index = tokenizer.word_index

如果您检查字典的长度,它将包含3436个单词,这是我们数据集中唯一单词的总数。

现在让我们从字典中输出第500个唯一单词及其整数值。

print(macbeth\_text\_words\[500\])
print(word\_2\_index\[macbeth\_text\_words\[500\]\])

这是输出:

comparisons
1456

修改数据形状

LSTM接受3维格式的数据(样本数,时间步数,每个时间步的特征)。由于输出将是单个单词,因此输出的形状将是二维的(样本数,语料库中唯一词的数量)。

以下脚本修改了输入序列和相应输出的形状。

input_sequence = \[\]
output_words = \[\]
input\_seq\_length = 100
for i in range(0, n\_words - input\_seq_length , 1):
    in\_seq = macbeth\_text\_words\[i:i + input\_seq_length\]
...

在上面的脚本中,我们声明两个空列表input_sequenceoutput_words。将input_seq_length被设置为100,这意味着我们的输入序列将包括100个字。接下来,我们执行一个循环,在第一次迭代中,将文本中前100个单词的整数值附加到input_sequence列表中。第101个单词将追加到output_words列表中。在第二次迭代过程中,从文本中的第二个单词开始到第101个单词结束的单词序列存储在input_sequence列表中,第102个单词存储在output_words数组中,依此类推。由于数据集中共有17250个单词(比单词总数少100个),因此将总共生成17150个输入序列。

现在让我们输出input_sequence列表中第一个序列的值:

print(input_sequence\[0\])

输出:

\[1, 869, 4, 40, 60, 1358, 1359, 408, 1360, 1361, 409, 265, 2, 870, 31, 190, 291, 76, 36, 30, 190, 327, 128, 8, 265, 870, 83, 8, 1362, 76, 1, 1363, 1364, 86, 76, 1, 1365, 354, 2, 871, 5, 34, 14, 168, 1, 292, 4, 649, 77, 1, 220, 41, 1, 872, 53, 3, 327, 12, 40, 52, 1366, 1367, 25, 1368, 873, 328, 355, 9, 410, 2, 410, 9, 355, 1369, 356, 1, 1370, 2, 874, 169, 103, 127, 411, 357, 149, 31, 51, 1371, 329, 107, 12, 358, 412, 875, 1372, 51, 20, 170, 92, 9\]

让我们通过将序列中的整数除以最大整数值来归一化输入序列。以下脚本还将输出转换为二维格式。

以下脚本输出输入和相应输出的形状。

print("X shape:", X.shape)
print("y shape:", y.shape)

输出:

X shape: (17150, 100, 1)
y shape: (17150, 3437)

训练模型

下一步是训练我们的模型。关于应使用多少层和神经元来训练模型,没有硬性规定。

我们将创建三个LSTM层,每个层具有800个神经元。最终将添加具有1个神经元的密集层,来预测下一个单词的索引,如下所示:

...
model.summary()
model.compile(loss='categorical_crossentropy', optimizer='adam')

由于输出单词可以是3436个唯一单词之一,因此我们的问题是多类分类问题,因此使用categorical_crossentropy损失函数。如果是二进制分类,binary_crossentropy则使用该函数。执行上面的脚本,可以看到模型摘要:

Model: "sequential_1"
\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_
Layer (type)                 Output Shape              Param #
=================================================================
lstm_1 (LSTM)                (None, 100, 800)          2566400
\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_
lstm_2 (LSTM)                (None, 100, 800)          5123200
\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_
lstm_3 (LSTM)                (None, 800)               5123200
\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_
dense_1 (Dense)              (None, 3437)              2753037
=================================================================
Total params: 15,565,837
Trainable params: 15,565,837
Non-trainable params: 0

要训练模型,我们可以简单地使用该fit()方法。

model.fit(X, y, batch_size=64, epochs=10, verbose=1)

预测

为了进行预测,我们将从input_sequence列表中随机选择一个序列,将其转换为3维形状,然后将其传递给predict()训练模型的方法。然后将索引值传递到index_2_word字典,在字典中将单词index用作键。该index_2_word字典将返回属于被作为重点字典传入的索引词。

以下脚本随机选择一个整数序列,然后输出相应的单词序列:

...
print(' '.join(word_sequence))

对于本文中的脚本,以下顺序是随机选择的:

amen when they did say god blesse vs lady consider it not so deepely mac but wherefore could not pronounce amen had most need of blessing and amen stuck in my throat lady these deeds must not be thought after these wayes so it will make vs mad macb me thought heard voyce cry sleep no more macbeth does murther sleepe the innocent sleepe sleepe that knits vp the rauel sleeue of care the death of each dayes life sore labors bath balme of hurt mindes great natures second course chiefe nourisher in life feast lady what doe you meane

接下来,我们将按照上述单词顺序输出接下来的100个单词:

for i in range(100):
    int\_sample = np.reshape(random\_seq, (1, len(random_seq), 1))
    int\_sample = int\_sample / float(vocab_size)
...

word_sequence现在,变量包含我们输入的单词序列以及接下来的100个预测单词。该word_sequence变量包含列表形式的单词序列。我们可以简单地将列表中的单词连接起来获得最终的输出序列,如下所示:

final_output = ""
for word in word_sequence:
...
print(final_output)

这是最终输出:

amen when they did say god blesse vs lady consider it not so deepely mac but wherefore could not pronounce amen had most need of blessing and amen stuck in my throat lady these deeds must not be thought after these wayes so it will make vs mad macb me thought heard voyce cry sleep no more macbeth does murther sleepe the innocent sleepe sleepe that knits vp the rauel sleeue of care the death of each dayes life sore labors bath balme of hurt mindes great natures second course chiefe nourisher in life feast lady what doe you meane and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and

结论

在本文中,我们看到了如何通过Python的Keras库使用深度学习来创建文本生成模型。

相关文章
|
11天前
|
机器学习/深度学习 人工智能 TensorFlow
人工智能浪潮下的自我修养:从Python编程入门到深度学习实践
【10月更文挑战第39天】本文旨在为初学者提供一条清晰的道路,从Python基础语法的掌握到深度学习领域的探索。我们将通过简明扼要的语言和实际代码示例,引导读者逐步构建起对人工智能技术的理解和应用能力。文章不仅涵盖Python编程的基础,还将深入探讨深度学习的核心概念、工具和实战技巧,帮助读者在AI的浪潮中找到自己的位置。
|
11天前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现智能食品市场预测的深度学习模型
使用Python实现智能食品市场预测的深度学习模型
51 5
|
6天前
|
机器学习/深度学习 数据采集 运维
使用 Python 实现深度学习模型:智能食品生产线优化
使用 Python 实现深度学习模型:智能食品生产线优化
42 13
|
2天前
|
机器学习/深度学习 自然语言处理 语音技术
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
16 8
|
12天前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对数据集进行训练,最后得到一个识别精度较高的模型。并基于Flask框架,开发网页端操作平台,实现用户上传一张图片识别其名称。
42 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
|
12天前
|
机器学习/深度学习 人工智能 算法
基于深度学习的【蔬菜识别】系统实现~Python+人工智能+TensorFlow+算法模型
蔬菜识别系统,本系统使用Python作为主要编程语言,通过收集了8种常见的蔬菜图像数据集('土豆', '大白菜', '大葱', '莲藕', '菠菜', '西红柿', '韭菜', '黄瓜'),然后基于TensorFlow搭建卷积神经网络算法模型,通过多轮迭代训练最后得到一个识别精度较高的模型文件。在使用Django开发web网页端操作界面,实现用户上传一张蔬菜图片识别其名称。
52 0
基于深度学习的【蔬菜识别】系统实现~Python+人工智能+TensorFlow+算法模型
|
10天前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现智能食品广告投放优化的深度学习模型
使用Python实现智能食品广告投放优化的深度学习模型
33 0
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用与挑战
【10月更文挑战第3天】本文将探讨AI技术在自然语言处理(NLP)领域的应用及其面临的挑战。我们将分析NLP的基本原理,介绍AI技术如何推动NLP的发展,并讨论当前的挑战和未来的趋势。通过本文,读者将了解AI技术在NLP中的重要性,以及如何利用这些技术解决实际问题。
|
2月前
|
机器学习/深度学习 数据采集 自然语言处理
深度学习在自然语言处理中的应用与挑战
本文探讨了深度学习技术在自然语言处理(NLP)领域的应用,包括机器翻译、情感分析和文本生成等方面。同时,讨论了数据质量、模型复杂性和伦理问题等挑战,并提出了未来的研究方向和解决方案。通过综合分析,本文旨在为NLP领域的研究人员和从业者提供有价值的参考。
|
1月前
|
自然语言处理 算法 Python
自然语言处理(NLP)在文本分析中的应用:从「被动收集」到「主动分析」
【10月更文挑战第9天】自然语言处理(NLP)在文本分析中的应用:从「被动收集」到「主动分析」
49 4
下一篇
无影云桌面