【深度学习创作】用《权力的游戏》前五部训练RNN生成第六部(原理解析)

本文涉及的产品
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
简介:

《权力的游戏》(英语:Game of Thrones)是一部中世纪史诗奇幻题材的美国电视连续剧。该剧以美国作家乔治·R·R·马丁的奇幻文学《冰与火之歌》系列作为基础改编创作。


按照作者计划,《冰与火之歌》系列将有7部,目前出版至第5部。



也就是说,从2011年开始,读者对第六部《凛冬的寒风》的等待已经超过了6年。

 

近日,一位名叫Zack Thoutt的工程师在开源社区Github上发起了这样一个项目:基于《冰与火之歌》前面五部作品,训练RNN(循环神经网络)模型,进而生成第六部作品。



训练:你可能需要一块GPU和TensorFlow1.0.


Zack在Github页面上说:你是否已经受够了一直在等待下一本《权力的游戏》(GOT)图书的出版?至少我是这样的。所以我决定根据前五本《权力的游戏》图书训练一个RNN模型,使用该神经网络的预测生成第六部。


他也表示,如果大家想训练这一模型,你可能会需要一块GPU和TensorFlow1.0. 


他使用的是FloydHub和以下命令:


用于训练的前5部作品的文字资料在网上都能找到。


在这部由深度学习模型完成的“新作”中,还有许多问题没有回答:琼恩真的是一个兰尼斯特-坦格利安人?那些狗如何统治7国?为什么瓦里斯要毒害丹妮莉丝?


作者在项目介绍的最后也欢迎大家都一起来参与制作,共同唱响“冰与火之歌”。开源地址:https://github.com/zackthoutt/got-book-6。


 为什么是RNN?深度学习的基础模型之一


RNN无疑是深度学习的主要内容之一,它允许神经网络处理序列数据,如文本、音频和视频。 它们可以用于将序列编码至不同层级的理解(抽象层次不同的知识表示)、标注序列,甚至从头开始生成新序列。一个 RNN cell在处理序列数据时一直被重复使用,Share Weights。 


RNN的核心特征是“循环”, 即系统的输出会保留在网络里, 和系统下一刻的输入一起共同决定下一刻的输出。


这一点符合著名的图灵机原理。 即此刻的状态包含上一刻的历史,又是下一刻变化的依据。 这其实包含了可编程神经网络的核心概念,即, 当你有一个未知的过程,但你可以测量到输入和输出, 你假设当这个过程通过RNN的时候,它是可以自己学会这样的输入输出规律的, 而且因此具有预测能力。 


这里A被称作 controller(图中是在处理序列数据,有个错误,最后应该是x3,y3), 可以是FNNs(feedforward neural networks),也可以是RNNs,但RNNs能实现更多操作,因为它是 Turing Complete 的。


上文提到,RNN具有“记忆”能力,这也是为什么它能实现预测的重要原因。具体到《权力的游戏》图书的生成,正式因为在前5部作品的训练过程中的“循环”和“记忆”,让模型具备“预测”第六部作品的能力。


RNN在语言研究中得到广泛的采用。去年,谷歌就曾发布了一项名为“探索RNN极限”的研究,开源大规模语言建模模型库,含有大约 10 亿英语单词,词汇有 80 万,大部分是新闻数据。


精彩内容分享:奈德依然活着,琼恩是兰尼斯特人!


这本由RNN生成的图书的前五章目前已经公开,书中的情节与我们此前熟悉和喜爱的前五本一样:包含了许多的转折。



以下是一些对话的摘录:

 

珊莎实际上是拜拉席恩家族的人,詹姆很怕她,因为她是次子团的成员之一:


我害怕珊莎主人,大人”,詹姆提醒她说。“他们拜拉席恩家族是要道之一。也就是你的次子团。”


里克仍然是一个烦人的人:


“对你来说,有些事情是必须的”,一个女人慵懒的声音响起,“天呐,里克。”


一个名叫Greenbeard的新主角出现在了剧情中:

 

“是的,佩特”,高大的男人举起剑,将他挡在身后,并将巨大的铁王座推向女孩冲过来的方向。 


阿多回来了,现在,他除了“Hodor”,还会说一些新的单词。


阿多看着他们低声吼道,“你回家要走哪条路。”


奈德依然活着,并且琼恩是兰尼斯特人!


双方都回来之后,他们立刻想到了希望他回答问题的方式。当琼恩缓慢后退时,奈德在脑海中看到了他的斧头和左手。


瓦里斯毒死了丹妮莉丝和另外一个人:


瓦里斯毒死了丹妮莉丝和另外一个人。当他醒来时,听到一首舒缓的歌曲。


琼恩骑着一条龙,开始变得有些狂躁:


琼恩骑着龙,在天空极速绕圈。龙喷出的火焰在沙漠中形成一个个燃烧的大坑。


詹姆杀掉了瑟曦,琼恩变成狼:


 詹姆杀死了瑟曦,他非常冷血,一直在自言自语,琼恩认为他是现在的狼……


他们决定让狗来做决定:


“问那些狗。”


整本书以一段怪异的描述结尾:


在一场冬季的暴风雪中,琼恩作为坦格利安人的一面得到全面的展示 ……


正如开源项目作者本人在提到,在这部由深度学习模型完成的“新作”中目前只完成了前五章,还有许多问题没有回答:琼恩真的是一个兰尼斯特-坦格利安人?那些狗如何统治7国?为什么瓦里斯要毒害丹妮莉丝?……


如果你想尝试一下,去Github找他,或许你可以生成《红楼梦》的续集呢?


文章转自新智元公众号,原文链接

相关文章
|
3天前
|
编解码 人工智能 并行计算
基于 Megatron 的多模态大模型训练加速技术解析
Pai-Megatron-Patch 是一款由阿里云人工智能平台PAI 研发的围绕英伟达 Megatron 的大模型训练配套工具,旨在帮助开发者快速上手大模型,打通大模型相关的高效分布式训练、有监督指令微调、下游任务评估等大模型开发链路。本文以 Qwen2-VL 为例,从易用性和训练性能优化两个方面介绍基于 Megatron 构建的 Pai-Megatron-Patch 多模态大模型训练的关键技术
|
1月前
|
机器学习/深度学习 人工智能 算法
DeepSeek技术报告解析:为什么DeepSeek-R1 可以用低成本训练出高效的模型
DeepSeek-R1 通过创新的训练策略实现了显著的成本降低,同时保持了卓越的模型性能。本文将详细分析其核心训练方法。
565 11
DeepSeek技术报告解析:为什么DeepSeek-R1 可以用低成本训练出高效的模型
|
2月前
|
机器学习/深度学习 传感器 人工智能
穹彻智能-上交大最新Nature子刊速递:解析深度学习驱动的视触觉动态重建方案
上海交大研究团队在Nature子刊发表论文,提出基于深度学习的视触觉动态重建方案,结合高密度可拉伸触觉手套与视觉-触觉联合学习框架,实现手部与物体间力量型交互的实时捕捉和重建。该方案包含1152个触觉感知单元,通过应变干扰抑制方法提高测量准确性,平均重建误差仅1.8厘米。实验结果显示,其在物体重建的准确性和鲁棒性方面优于现有方法,为虚拟现实、远程医疗等领域带来新突破。
86 32
|
3月前
|
机器学习/深度学习 人工智能 算法
机器学习与深度学习:差异解析
机器学习与深度学习作为两大核心技术,各自拥有独特的魅力和应用价值。尽管它们紧密相连,但两者之间存在着显著的区别。本文将从定义、技术、数据需求、应用领域、模型复杂度以及计算资源等多个维度,对机器学习与深度学习进行深入对比,帮助您更好地理解它们之间的差异。
|
3月前
|
机器学习/深度学习 数据可视化 TensorFlow
使用Python实现深度学习模型的分布式训练
使用Python实现深度学习模型的分布式训练
209 73
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
探索深度学习与自然语言处理的前沿技术:Transformer模型的深度解析
探索深度学习与自然语言处理的前沿技术:Transformer模型的深度解析
250 1
|
4月前
|
机器学习/深度学习 自然语言处理 语音技术
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
132 8
|
4月前
|
机器学习/深度学习 自然语言处理 语音技术
揭秘深度学习中的注意力机制:兼容性函数的深度解析
揭秘深度学习中的注意力机制:兼容性函数的深度解析
|
4月前
|
机器学习/深度学习 人工智能 自动驾驶
深入解析深度学习中的卷积神经网络(CNN)
深入解析深度学习中的卷积神经网络(CNN)
67 0
|
4月前
|
机器学习/深度学习 自然语言处理 并行计算
DeepSpeed分布式训练框架深度学习指南
【11月更文挑战第6天】随着深度学习模型规模的日益增大,训练这些模型所需的计算资源和时间成本也随之增加。传统的单机训练方式已难以应对大规模模型的训练需求。
474 3

热门文章

最新文章

推荐镜像

更多