【深度学习创作】用《权力的游戏》前五部训练RNN生成第六部(原理解析)

简介:

《权力的游戏》(英语:Game of Thrones)是一部中世纪史诗奇幻题材的美国电视连续剧。该剧以美国作家乔治·R·R·马丁的奇幻文学《冰与火之歌》系列作为基础改编创作。


按照作者计划,《冰与火之歌》系列将有7部,目前出版至第5部。


640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=


也就是说,从2011年开始,读者对第六部《凛冬的寒风》的等待已经超过了6年。

 

近日,一位名叫Zack Thoutt的工程师在开源社区Github上发起了这样一个项目:基于《冰与火之歌》前面五部作品,训练RNN(循环神经网络)模型,进而生成第六部作品。


640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy


训练:你可能需要一块GPU和TensorFlow1.0.


Zack在Github页面上说:你是否已经受够了一直在等待下一本《权力的游戏》(GOT)图书的出版?至少我是这样的。所以我决定根据前五本《权力的游戏》图书训练一个RNN模型,使用该神经网络的预测生成第六部。


他也表示,如果大家想训练这一模型,你可能会需要一块GPU和TensorFlow1.0. 


他使用的是FloydHub和以下命令:


640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

用于训练的前5部作品的文字资料在网上都能找到。


在这部由深度学习模型完成的“新作”中,还有许多问题没有回答:琼恩真的是一个兰尼斯特-坦格利安人?那些狗如何统治7国?为什么瓦里斯要毒害丹妮莉丝?


作者在项目介绍的最后也欢迎大家都一起来参与制作,共同唱响“冰与火之歌”。开源地址:https://github.com/zackthoutt/got-book-6。


 为什么是RNN?深度学习的基础模型之一


RNN无疑是深度学习的主要内容之一,它允许神经网络处理序列数据,如文本、音频和视频。 它们可以用于将序列编码至不同层级的理解(抽象层次不同的知识表示)、标注序列,甚至从头开始生成新序列。一个 RNN cell在处理序列数据时一直被重复使用,Share Weights。 


RNN的核心特征是“循环”, 即系统的输出会保留在网络里, 和系统下一刻的输入一起共同决定下一刻的输出。


这一点符合著名的图灵机原理。 即此刻的状态包含上一刻的历史,又是下一刻变化的依据。 这其实包含了可编程神经网络的核心概念,即, 当你有一个未知的过程,但你可以测量到输入和输出, 你假设当这个过程通过RNN的时候,它是可以自己学会这样的输入输出规律的, 而且因此具有预测能力。 


640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

这里A被称作 controller(图中是在处理序列数据,有个错误,最后应该是x3,y3), 可以是FNNs(feedforward neural networks),也可以是RNNs,但RNNs能实现更多操作,因为它是 Turing Complete 的。


上文提到,RNN具有“记忆”能力,这也是为什么它能实现预测的重要原因。具体到《权力的游戏》图书的生成,正式因为在前5部作品的训练过程中的“循环”和“记忆”,让模型具备“预测”第六部作品的能力。


RNN在语言研究中得到广泛的采用。去年,谷歌就曾发布了一项名为“探索RNN极限”的研究,开源大规模语言建模模型库,含有大约 10 亿英语单词,词汇有 80 万,大部分是新闻数据。


精彩内容分享:奈德依然活着,琼恩是兰尼斯特人!


这本由RNN生成的图书的前五章目前已经公开,书中的情节与我们此前熟悉和喜爱的前五本一样:包含了许多的转折。


640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy


以下是一些对话的摘录:

 

珊莎实际上是拜拉席恩家族的人,詹姆很怕她,因为她是次子团的成员之一:


我害怕珊莎主人,大人”,詹姆提醒她说。“他们拜拉席恩家族是要道之一。也就是你的次子团。”


里克仍然是一个烦人的人:


“对你来说,有些事情是必须的”,一个女人慵懒的声音响起,“天呐,里克。”


一个名叫Greenbeard的新主角出现在了剧情中:

 

“是的,佩特”,高大的男人举起剑,将他挡在身后,并将巨大的铁王座推向女孩冲过来的方向。 


阿多回来了,现在,他除了“Hodor”,还会说一些新的单词。


阿多看着他们低声吼道,“你回家要走哪条路。”


奈德依然活着,并且琼恩是兰尼斯特人!


双方都回来之后,他们立刻想到了希望他回答问题的方式。当琼恩缓慢后退时,奈德在脑海中看到了他的斧头和左手。


瓦里斯毒死了丹妮莉丝和另外一个人:


瓦里斯毒死了丹妮莉丝和另外一个人。当他醒来时,听到一首舒缓的歌曲。


琼恩骑着一条龙,开始变得有些狂躁:


琼恩骑着龙,在天空极速绕圈。龙喷出的火焰在沙漠中形成一个个燃烧的大坑。


詹姆杀掉了瑟曦,琼恩变成狼:


 詹姆杀死了瑟曦,他非常冷血,一直在自言自语,琼恩认为他是现在的狼……


他们决定让狗来做决定:


“问那些狗。”


整本书以一段怪异的描述结尾:


在一场冬季的暴风雪中,琼恩作为坦格利安人的一面得到全面的展示 ……


正如开源项目作者本人在提到,在这部由深度学习模型完成的“新作”中目前只完成了前五章,还有许多问题没有回答:琼恩真的是一个兰尼斯特-坦格利安人?那些狗如何统治7国?为什么瓦里斯要毒害丹妮莉丝?……


如果你想尝试一下,去Github找他,或许你可以生成《红楼梦》的续集呢?


文章转自新智元公众号,原文链接

相关文章
|
1月前
|
关系型数据库 MySQL Shell
CMake构建Makefile深度解析:从底层原理到复杂项目(三)
CMake构建Makefile深度解析:从底层原理到复杂项目
32 0
|
1月前
|
编译器 vr&ar C++
CMake构建Makefile深度解析:从底层原理到复杂项目(二)
CMake构建Makefile深度解析:从底层原理到复杂项目
35 0
|
28天前
|
存储 安全 编译器
【C++ 17 新功能 std::visit 】深入解析 C++17 中的 std::visit:从原理到实践
【C++ 17 新功能 std::visit 】深入解析 C++17 中的 std::visit:从原理到实践
70 0
|
25天前
|
安全 Java 数据安全/隐私保护
【深入浅出Spring原理及实战】「EL表达式开发系列」深入解析SpringEL表达式理论详解与实际应用
【深入浅出Spring原理及实战】「EL表达式开发系列」深入解析SpringEL表达式理论详解与实际应用
54 1
|
1天前
|
Java
并发编程之线程池的底层原理的详细解析
并发编程之线程池的底层原理的详细解析
6 0
|
1天前
|
JSON Java Maven
Javaweb之SpringBootWeb案例之 SpringBoot原理的详细解析
Javaweb之SpringBootWeb案例之 SpringBoot原理的详细解析
4 0
Javaweb之SpringBootWeb案例之 SpringBoot原理的详细解析
|
6天前
|
机器学习/深度学习 运维 监控
TensorFlow分布式训练:加速深度学习模型训练
【4月更文挑战第17天】TensorFlow分布式训练加速深度学习模型训练,通过数据并行和模型并行利用多机器资源,减少训练时间。优化策略包括配置计算资源、优化数据划分和减少通信开销。实际应用需关注调试监控、系统稳定性和容错性,以应对分布式训练挑战。
|
11天前
|
机器学习/深度学习 分布式计算 BI
Flink实时流处理框架原理与应用:面试经验与必备知识点解析
【4月更文挑战第9天】本文详尽探讨了Flink实时流处理框架的原理,包括运行时架构、数据流模型、状态管理和容错机制、资源调度与优化以及与外部系统的集成。此外,还介绍了Flink在实时数据管道、分析、数仓与BI、机器学习等领域的应用实践。同时,文章提供了面试经验与常见问题解析,如Flink与其他系统的对比、实际项目挑战及解决方案,并展望了Flink的未来发展趋势。附带Java DataStream API代码样例,为学习和面试准备提供了实用素材。
33 0
|
27天前
|
存储 并行计算 算法
C++动态规划的全面解析:从原理到实践
C++动态规划的全面解析:从原理到实践
93 0
|
27天前
|
监控 算法 Unix
【Linux 异步操作】深入理解 Linux 异步通知机制:原理、应用与实例解析
【Linux 异步操作】深入理解 Linux 异步通知机制:原理、应用与实例解析
59 0

热门文章

最新文章

推荐镜像

更多