【深度学习创作】用《权力的游戏》前五部训练RNN生成第六部(原理解析)

简介:

《权力的游戏》(英语:Game of Thrones)是一部中世纪史诗奇幻题材的美国电视连续剧。该剧以美国作家乔治·R·R·马丁的奇幻文学《冰与火之歌》系列作为基础改编创作。


按照作者计划,《冰与火之歌》系列将有7部,目前出版至第5部。



也就是说,从2011年开始,读者对第六部《凛冬的寒风》的等待已经超过了6年。

 

近日,一位名叫Zack Thoutt的工程师在开源社区Github上发起了这样一个项目:基于《冰与火之歌》前面五部作品,训练RNN(循环神经网络)模型,进而生成第六部作品。



训练:你可能需要一块GPU和TensorFlow1.0.


Zack在Github页面上说:你是否已经受够了一直在等待下一本《权力的游戏》(GOT)图书的出版?至少我是这样的。所以我决定根据前五本《权力的游戏》图书训练一个RNN模型,使用该神经网络的预测生成第六部。


他也表示,如果大家想训练这一模型,你可能会需要一块GPU和TensorFlow1.0. 


他使用的是FloydHub和以下命令:


用于训练的前5部作品的文字资料在网上都能找到。


在这部由深度学习模型完成的“新作”中,还有许多问题没有回答:琼恩真的是一个兰尼斯特-坦格利安人?那些狗如何统治7国?为什么瓦里斯要毒害丹妮莉丝?


作者在项目介绍的最后也欢迎大家都一起来参与制作,共同唱响“冰与火之歌”。开源地址:https://github.com/zackthoutt/got-book-6。


 为什么是RNN?深度学习的基础模型之一


RNN无疑是深度学习的主要内容之一,它允许神经网络处理序列数据,如文本、音频和视频。 它们可以用于将序列编码至不同层级的理解(抽象层次不同的知识表示)、标注序列,甚至从头开始生成新序列。一个 RNN cell在处理序列数据时一直被重复使用,Share Weights。 


RNN的核心特征是“循环”, 即系统的输出会保留在网络里, 和系统下一刻的输入一起共同决定下一刻的输出。


这一点符合著名的图灵机原理。 即此刻的状态包含上一刻的历史,又是下一刻变化的依据。 这其实包含了可编程神经网络的核心概念,即, 当你有一个未知的过程,但你可以测量到输入和输出, 你假设当这个过程通过RNN的时候,它是可以自己学会这样的输入输出规律的, 而且因此具有预测能力。 


这里A被称作 controller(图中是在处理序列数据,有个错误,最后应该是x3,y3), 可以是FNNs(feedforward neural networks),也可以是RNNs,但RNNs能实现更多操作,因为它是 Turing Complete 的。


上文提到,RNN具有“记忆”能力,这也是为什么它能实现预测的重要原因。具体到《权力的游戏》图书的生成,正式因为在前5部作品的训练过程中的“循环”和“记忆”,让模型具备“预测”第六部作品的能力。


RNN在语言研究中得到广泛的采用。去年,谷歌就曾发布了一项名为“探索RNN极限”的研究,开源大规模语言建模模型库,含有大约 10 亿英语单词,词汇有 80 万,大部分是新闻数据。


精彩内容分享:奈德依然活着,琼恩是兰尼斯特人!


这本由RNN生成的图书的前五章目前已经公开,书中的情节与我们此前熟悉和喜爱的前五本一样:包含了许多的转折。



以下是一些对话的摘录:

 

珊莎实际上是拜拉席恩家族的人,詹姆很怕她,因为她是次子团的成员之一:


我害怕珊莎主人,大人”,詹姆提醒她说。“他们拜拉席恩家族是要道之一。也就是你的次子团。”


里克仍然是一个烦人的人:


“对你来说,有些事情是必须的”,一个女人慵懒的声音响起,“天呐,里克。”


一个名叫Greenbeard的新主角出现在了剧情中:

 

“是的,佩特”,高大的男人举起剑,将他挡在身后,并将巨大的铁王座推向女孩冲过来的方向。 


阿多回来了,现在,他除了“Hodor”,还会说一些新的单词。


阿多看着他们低声吼道,“你回家要走哪条路。”


奈德依然活着,并且琼恩是兰尼斯特人!


双方都回来之后,他们立刻想到了希望他回答问题的方式。当琼恩缓慢后退时,奈德在脑海中看到了他的斧头和左手。


瓦里斯毒死了丹妮莉丝和另外一个人:


瓦里斯毒死了丹妮莉丝和另外一个人。当他醒来时,听到一首舒缓的歌曲。


琼恩骑着一条龙,开始变得有些狂躁:


琼恩骑着龙,在天空极速绕圈。龙喷出的火焰在沙漠中形成一个个燃烧的大坑。


詹姆杀掉了瑟曦,琼恩变成狼:


 詹姆杀死了瑟曦,他非常冷血,一直在自言自语,琼恩认为他是现在的狼……


他们决定让狗来做决定:


“问那些狗。”


整本书以一段怪异的描述结尾:


在一场冬季的暴风雪中,琼恩作为坦格利安人的一面得到全面的展示 ……


正如开源项目作者本人在提到,在这部由深度学习模型完成的“新作”中目前只完成了前五章,还有许多问题没有回答:琼恩真的是一个兰尼斯特-坦格利安人?那些狗如何统治7国?为什么瓦里斯要毒害丹妮莉丝?……


如果你想尝试一下,去Github找他,或许你可以生成《红楼梦》的续集呢?


文章转自新智元公众号,原文链接

相关文章
|
5月前
|
机器学习/深度学习 存储 PyTorch
Neural ODE原理与PyTorch实现:深度学习模型的自适应深度调节
Neural ODE将神经网络与微分方程结合,用连续思维建模数据演化,突破传统离散层的限制,实现自适应深度与高效连续学习。
408 3
Neural ODE原理与PyTorch实现:深度学习模型的自适应深度调节
|
12月前
|
安全 算法 网络协议
解析:HTTPS通过SSL/TLS证书加密的原理与逻辑
HTTPS通过SSL/TLS证书加密,结合对称与非对称加密及数字证书验证实现安全通信。首先,服务器发送含公钥的数字证书,客户端验证其合法性后生成随机数并用公钥加密发送给服务器,双方据此生成相同的对称密钥。后续通信使用对称加密确保高效性和安全性。同时,数字证书验证服务器身份,防止中间人攻击;哈希算法和数字签名确保数据完整性,防止篡改。整个流程保障了身份认证、数据加密和完整性保护。
|
6月前
|
机器学习/深度学习 存储 人工智能
深度解析大模型压缩技术:搞懂深度学习中的减枝、量化、知识蒸馏
本文系统解析深度学习模型压缩三大核心技术:剪枝、量化与知识蒸馏,详解如何实现模型缩小16倍、推理加速4倍。涵盖技术原理、工程实践与组合策略,助力AI模型高效部署至边缘设备。
1232 2
|
9月前
|
机器学习/深度学习 数据采集 JavaScript
用深度学习提升DOM解析——自动提取页面关键区块
本文介绍了一次二手车数据爬虫事故的解决过程,从传统XPath方案失效到结合深度学习语义提取的成功实践。面对懂车帝平台的前端异步渲染和复杂DOM结构,通过Playwright动态渲染、代理IP隐藏身份,以及BERT模型对HTML块级语义识别,实现了稳定高效的字段提取。此方法抗结构变化能力强,适用于复杂网页数据采集,如二手车、新闻等领域。架构演进从静态爬虫到动态爬虫再到语义解析,显著提升效率与稳定性。
337 13
用深度学习提升DOM解析——自动提取页面关键区块
|
11月前
|
机器学习/深度学习 数据可视化 PyTorch
深入解析图神经网络注意力机制:数学原理与可视化实现
本文深入解析了图神经网络(GNNs)中自注意力机制的内部运作原理,通过可视化和数学推导揭示其工作机制。文章采用“位置-转移图”概念框架,并使用NumPy实现代码示例,逐步拆解自注意力层的计算过程。文中详细展示了从节点特征矩阵、邻接矩阵到生成注意力权重的具体步骤,并通过四个类(GAL1至GAL4)模拟了整个计算流程。最终,结合实际PyTorch Geometric库中的代码,对比分析了核心逻辑,为理解GNN自注意力机制提供了清晰的学习路径。
746 7
深入解析图神经网络注意力机制:数学原理与可视化实现
|
机器学习/深度学习 算法 数据挖掘
解析静态代理IP改善游戏体验的原理
静态代理IP通过提高网络稳定性和降低延迟,优化游戏体验。具体表现在加快游戏网络速度、实时玩家数据分析、优化游戏设计、简化更新流程、维护网络稳定性、提高连接可靠性、支持地区特性及提升访问速度等方面,确保更流畅、高效的游戏体验。
289 22
解析静态代理IP改善游戏体验的原理
|
11月前
|
机器学习/深度学习 缓存 自然语言处理
深入解析Tiktokenizer:大语言模型中核心分词技术的原理与架构
Tiktokenizer 是一款现代分词工具,旨在高效、智能地将文本转换为机器可处理的离散单元(token)。它不仅超越了传统的空格分割和正则表达式匹配方法,还结合了上下文感知能力,适应复杂语言结构。Tiktokenizer 的核心特性包括自适应 token 分割、高效编码能力和出色的可扩展性,使其适用于从聊天机器人到大规模文本分析等多种应用场景。通过模块化设计,Tiktokenizer 确保了代码的可重用性和维护性,并在分词精度、处理效率和灵活性方面表现出色。此外,它支持多语言处理、表情符号识别和领域特定文本处理,能够应对各种复杂的文本输入需求。
1375 6
深入解析Tiktokenizer:大语言模型中核心分词技术的原理与架构
|
12月前
|
编解码 缓存 Prometheus
「ximagine」业余爱好者的非专业显示器测试流程规范,同时也是本账号输出内容的数据来源!如何测试显示器?荒岛整理总结出多种测试方法和注意事项,以及粗浅的原理解析!
本期内容为「ximagine」频道《显示器测试流程》的规范及标准,我们主要使用Calman、DisplayCAL、i1Profiler等软件及CA410、Spyder X、i1Pro 2等设备,是我们目前制作内容数据的重要来源,我们深知所做的仍是比较表面的活儿,和工程师、科研人员相比有着不小的差距,测试并不复杂,但是相当繁琐,收集整理测试无不花费大量时间精力,内容不完善或者有错误的地方,希望大佬指出我们好改进!
833 16
「ximagine」业余爱好者的非专业显示器测试流程规范,同时也是本账号输出内容的数据来源!如何测试显示器?荒岛整理总结出多种测试方法和注意事项,以及粗浅的原理解析!
|
机器学习/深度学习 人工智能 算法
DeepSeek技术报告解析:为什么DeepSeek-R1 可以用低成本训练出高效的模型
DeepSeek-R1 通过创新的训练策略实现了显著的成本降低,同时保持了卓越的模型性能。本文将详细分析其核心训练方法。
1306 11
DeepSeek技术报告解析:为什么DeepSeek-R1 可以用低成本训练出高效的模型
|
机器学习/深度学习 自然语言处理 搜索推荐
自注意力机制全解析:从原理到计算细节,一文尽览!
自注意力机制(Self-Attention)最早可追溯至20世纪70年代的神经网络研究,但直到2017年Google Brain团队提出Transformer架构后才广泛应用于深度学习。它通过计算序列内部元素间的相关性,捕捉复杂依赖关系,并支持并行化训练,显著提升了处理长文本和序列数据的能力。相比传统的RNN、LSTM和GRU,自注意力机制在自然语言处理(NLP)、计算机视觉、语音识别及推荐系统等领域展现出卓越性能。其核心步骤包括生成查询(Q)、键(K)和值(V)向量,计算缩放点积注意力得分,应用Softmax归一化,以及加权求和生成输出。自注意力机制提高了模型的表达能力,带来了更精准的服务。
13199 46

热门文章

最新文章

推荐镜像

更多
  • DNS