玩笑到现实,大数据涉足文学研究--用数据模型分析莎翁著作

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 自然语言研究一直以来都是计算机研究的一个重要方向。随着大数据时代的到来,人们也越来越关注自然语言这方面的进展。而文学是自然语言这个皇冠上的明珠。人们都拭目以待大数据摘下这颗明珠的那一天。

几十年来,文学作品中的统计分析已经从单纯的破译理论发展到尖端研究

abde22bef8b8d60ca9d6f45be45ed815741e0440

1993年,Tom Stoppard的戏剧《世外桃源》(Arcadia正式上演在这部脑洞大开的戏剧中那些用数据统计进行文学评论的桥段成为圈内人的笑料。剧中位傻乎乎的诗歌教师,Bernard Nightingale嘲笑他的同事用计算机程序来断定一个没有署名的故事出自于劳伦斯(D.H. Lawrence)之手并且还得意的指出“在同样的统计基础上,竟然有百分之九十的可能性,Lawrence还撰写了《淘气小威廉》(“Just William”.作者是里奇马尔Richmal Crompton)这本书以及前一天的《百眼巨人报(英国布莱顿市的一份地方报纸)虽然这只是该剧中的几个笑话,但现在突然变得令人“细思恐极”了 随着《新牛津莎士比亚》系列的出版,人们开始了一场关于伊丽莎白时期剧作家身份的讨论


新牛津莎士比亚全集的最新版登上了去年10月份的头条新闻。因为书中指出莎士比亚的44部戏剧作品有17部是和别人共同完成的(相比之下,1986仅列出了8)。 而其中一个出现的人名,马洛(Christopher Marlowe),更让人们兴奋不已这个名字的出现似乎佐证了之前一些关于作者身份被驳回的阴谋论 然而,更吸引人眼球的是得出这个论断背后的技术。人们已不再是根据编辑观察等传统的方式,而是通过计算分析来做出这样的结论。 那么今天的数据语言学家是如何在不受作者影响力的前提下,弄清楚作者与作品的关系的呢 同时我们更需要思考为什么做到这点很重要


计算机和人类可以通过一些“附加词”来识别是不是莎士比亚的作品,如他会经常在自己的作品中使用 “gentle”, “answer”, “beseech”, “tonight” 显然这种方法来判断是不是莎翁作品已经变得不那么准确了,因为那时候的作家常常会模仿其他人的行文风格 早期的剧作家是非常紧密的一个团体,而与此同时16世纪的观众似乎并不是很在意作品的独创性《帖木儿》(Tamburlaine),马洛的一部非常受欢迎的戏剧,当时被许多人模仿衍生出各种续作。以至于当时著名的剧作家本·琼森(Ben Jonson)对该剧被无休止的模仿而发出了哀叹。 莎士比亚也和其他人一样没能免俗。 《马耳他岛的犹太人》(“The Jew of Malta” ,1589)中, 马洛笔下的巴拉巴斯将他的女儿阿比盖尔隔离在一个阳台上:

“But stay! What star shines yonder in the east?

The lodestar of my life, if Abigail!”

(“看! 哪颗星星在东方发光?就是我生命中北极星,阿比盖尔!“)


如果这段台词听起来很熟悉那是因为十年后莎士比亚笔下的罗密欧有着类似的台词

“But soft! What light through yonder window breaks?

It is the East, and Juliet is the sun!” (“轻声!那边窗子里亮起来的是什么光?这是东方,而朱丽叶就是太阳!“)


在这种相互影响的情况下,电脑如何能够分辨出马洛和莎士比亚本人的作品以及他们作品中相互借鉴的区别?根据《新牛津莎士比亚》的编辑,其中的关键在于“功能词”, 就是 to”或“a”这类能够为句子提供语法支撑的单词。 他们的理论认为作家们都会无意识地以自己独特的方式使用这些词。 例如,莎士比亚经常把“and”与 with”连在一起用 - 克劳狄斯与乔特鲁德婚礼中的“With mirth in funeral and with dirge in marriage” (“葬礼中的挽歌和婚礼中有欢歌”),老哈姆雷特的鬼魂说到“缓慢而庄严得出现在他们面前”( “Appears before them, and with solemn march。Goes slow and stately”) 因此即使作家们试图模仿他人的写作风格,功能词的使用仍然能够揭示他们真实的身份。 通过分析作家如何使用那些功能词,计算机可以初步地识别他们独特的语言指纹。


在莎士比亚作品的研究中,能够获知作品作者,作品内容以及写作时间是非常关键的,通过这些信息能有助于说服那些唯莎士比亚论者,因为在他们眼里莎翁就是一个孤傲的天才。 之前之所以人们会认为莎士比亚少有与人合作,主要原因还是那些与他合作的作家并不是非常出色。尽管计算机模型不是绝对准确的,但是以证据而非作品质量来判定作品的归属还是令人信服的。


其次,正确的作品归属让我们更好的了解戏剧作品本身。 当我们打开一部历史戏剧作品的第一页,就像开始了一部关于这段历史的电影。 由于《亨利六世》第二章的大部分可能是马洛撰写的,这就打破了这个历史剧作的统一性。 马洛更多的表现出对普通百姓角色(比如低调的杰克·凯德)的兴趣,而不是那些无所不能的君主;相反, 莎士比亚更喜欢“国王之死”类似的故事。 知道同一部作品出自他们两人之手,了解到其中的争议和共生,我们可以更好地理解戏剧本身。


据《新牛津莎士比亚》编辑之一加布里埃尔·埃根(Gabriel Egan)所说,归因模型越来越准确,主要的原因就是“计算机研究人员越来越多地将研究精力转向自然语言,而自然语言研究是计算机发展方向中最难的问题之一 。“在《世外桃源》中,Bernard Nightingale曾坚持认为”你不能把拜伦的思想放进笔记本电脑里“。但就现在的情况来看,他的观点仍然可能是正确的。 在控制测试中,即使像《新牛津莎士比亚》所使用的高级模式,有时也会有明显的误判,把作品张冠李戴。统计分析仍将是重要的分析工具之一。因为它有着学术的客观性,只是之前人们在莎士比亚研究领域很少用到。


以上为译文

本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。

文章原标题《Revenge of the maths mob - Why literature is the ultimate big-data challenge》,由《经济学人》发布。

译者:friday012 ;审校:主题曲(身行)

文章为简译,更为详细的内容,请查看原文原文文本也可见附件

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
24天前
|
数据采集 存储 机器学习/深度学习
数据的秘密:如何用大数据分析挖掘商业价值
数据的秘密:如何用大数据分析挖掘商业价值
48 9
|
2月前
|
机器学习/深度学习 数据可视化 大数据
机器学习与大数据分析的结合:智能决策的新引擎
机器学习与大数据分析的结合:智能决策的新引擎
250 15
|
2月前
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。
|
2月前
|
分布式计算 DataWorks 搜索推荐
用户画像分析(MaxCompute简化版)
通过本教程,您可以了解如何使用DataWorks和MaxCompute产品组合进行数仓开发与分析,并通过案例体验DataWorks数据集成、数据开发和运维中心模块的相关能力。
|
3月前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
176 4
|
3月前
|
关系型数据库 分布式数据库 数据库
PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具
在数字化时代,企业面对海量数据的挑战,PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具。它不仅支持高速数据读写,还通过数据分区、索引优化等策略提升分析效率,适用于电商、金融等多个行业,助力企业精准决策。
79 4
|
3月前
|
机器学习/深度学习 分布式计算 算法
【大数据分析&机器学习】分布式机器学习
本文主要介绍分布式机器学习基础知识,并介绍主流的分布式机器学习框架,结合实例介绍一些机器学习算法。
534 5
|
30天前
|
SQL 数据可视化 大数据
从数据小白到大数据达人:一步步成为数据分析专家
从数据小白到大数据达人:一步步成为数据分析专家
219 92
|
3月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
774 7
|
3月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
101 2