用《圣经》做训练数据集,达特茅斯学院完美打造语言风格转换工具

简介:

为了寻找改进计算机文本翻译质量的灵感,达特茅斯学院的研究人员向《圣经》寻求帮助和指导。结果发现,使用各种版本的《圣经》训练的算法可以将书面作品转换成针对不同受众的不同风格的译文。

目前市面上可用的多语种互译的网络工具有很多。但行文风格和样式转换工具,即文本的语种相同,但转换行文风格的工具出现的速度则要慢得多。在某种程度上讲,由于难以获得所需的大量训练数据,开发这类转换工具的研究遭遇了困难。因此,研究团队想到在《圣经》中汲取灵感。

来自达特茅斯学院的研究团队发现,《圣经》除了为遍布全球的许多人提供精神上的指引之外,还能提供一个“大型的、以前尚未开发的对齐平行文本数据集”。《圣经》每个版本都包含超过31000节经文,研究人员用这些经文为机器学习训练集生成了超过150万个源经文和目标经文的专门配对。

该研究论文已发表在Royal Society Open Science 期刊上。文中表示,这不是首个为文字风格转换而创建的并行数据集。但却是第一个使用《圣经》的数据集。过去这类数据集使用的其他文本,比如莎士比亚作品、维基百科条目之类,所能提供的数据集要么比现在小得多,要么不适合学习风格转换的任务。

英文版《圣经》有许多不同的行文风格,使其成为风格转换的完美源文本。”达特茅斯大学学生、本论文的第一作者Keith Carlson说。

由于《圣经》的文本已经全面索引化,对不同版本的《圣经》文本的组织是可预测的,消除了用自动化方式匹配相同文本可能引起的对齐错误的风险。

“圣经是一个'神圣的'数据集,可以用来研究这项任务,”达特茅斯计算机科学教授丹尼尔·洛克莫尔说。 “几个世纪以来,人类一直在执行组织圣经文本的任务,我们的信仰不可能基于不太可靠的对齐算法。”

为了定义研究的“风格”,研究人员参考了句子长度、被动或主动语音的使用,以及可能导致文本具有不同程度的简洁或形式的用词选择。

根据这项研究的结果:“不同的措辞可能会传达不同程度的礼貌度或对读者的熟悉程度,显示关于作者的不同文化信息,使文本对某些人群更容易理解。”

该团队使用了34种风格独特的圣经版本,其语言复杂程度从“詹姆斯国王版”到“基础英语圣经”。研究人员使用这些文本作为两种算法的输入,一种是名为“摩西”的统计机器翻译系统,另一种是常用于机器翻译的神经网络框架“Seq2Seq”。

虽然研究团队使用了不同版本的《圣经》来训练计算机代码,但最终可以开发出能够为不同受众转换任何书面文本风格的系统。例如可以从“Moby Dick”中选择英语,并将其风格转换成适合年轻读者、非英语母语人士或其他多种受众团体中的不同版本。

“文本简化只是一种特定类型的风格转换。更广泛地说,我们开发的系统旨在生成与原文具有相同含义的文本,但会用不同的文字进行表述。”卡尔森说。

达特茅斯学院在计算机科学领域有着悠久的创新历史。 “人工智能”(AI)一词最初就是在1956年达特茅斯学院召开AI研究学科的会议期间诞生的。该校其他相关研究还包括BASIC语言的设计,这是第一个通用和可访问的编程语言,以及为现代操作系统做出贡献的“达特茅斯时间共享”系统。


原文发布时间为:2018-10-31

本文作者:大明

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:用《圣经》做训练数据集,达特茅斯学院完美打造语言风格转换工具

相关文章
|
6月前
|
机器学习/深度学习 算法 安全
【Python强化学习】强化学习基本概念与冰湖问题实战(图文解释 附源码)
【Python强化学习】强化学习基本概念与冰湖问题实战(图文解释 附源码)
122 0
|
6月前
|
机器学习/深度学习 数据采集 算法
【Python机器学习】过拟合及其抑制方法讲解及实战(图文解释 附源码)
【Python机器学习】过拟合及其抑制方法讲解及实战(图文解释 附源码)
121 0
【Python机器学习】过拟合及其抑制方法讲解及实战(图文解释 附源码)
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
【Python机器学习】文本特征提取及文本向量化讲解和实战(图文解释 附源码)
【Python机器学习】文本特征提取及文本向量化讲解和实战(图文解释 附源码)
411 0
|
6月前
|
机器学习/深度学习 算法 Python
【Python机器学习】朴素贝叶斯分类的讲解及预测决策实战(图文解释 附源码)
【Python机器学习】朴素贝叶斯分类的讲解及预测决策实战(图文解释 附源码)
146 0
|
1月前
|
机器学习/深度学习 自然语言处理 数据挖掘
从理论到实践:详解GraphRAG框架下的多模态内容理解与生成
【10月更文挑战第10天】随着多媒体内容的爆炸性增长,如何有效地理解和生成跨模态的数据(如图像、文本和视频)变得越来越重要。近年来,图神经网络(GNNs)因其在处理非结构化数据方面的强大能力而受到广泛关注。在此背景下,Graph Retrieval-Augmented Generation (GraphRAG) 框架作为一种新的方法,通过结合图检索和生成模型来提升多模态内容的理解与生成效果。本文将深入探讨GraphRAG的基本原理、核心组件以及实际应用,并通过代码示例展示其在多媒体内容处理中的潜力。
144 0
|
6月前
|
数据采集 Go Python
文本挖掘基础入门指南
本文介绍了文本挖掘中的数据预处理步骤,包括去除特殊字符和标点符号、移除停用词、小写化以及词干化或词形还原。使用Python的nltk库,通过示例代码展示了如何实现这些步骤,并强调了nltk库在文本处理中的便利性。文章最后提到,预处理后的文本更适合后续的文本分析任务.
120 6
|
机器学习/深度学习 数据采集 算法
2021-4月 Python机器学习——名词概念学习,概念解释
2021-4月 Python机器学习——名词概念学习,概念解释
197 0
|
6月前
|
Python 容器 机器学习/深度学习
Python语言基础学习大纲(由某大模型生成)
Python语言基础学习大纲(由某大模型生成)
79 0
Python语言基础学习大纲(由某大模型生成)
|
机器学习/深度学习 人工智能 自然语言处理
解决通用LLM「偏科」问题,数学大模型MathGPT要来了!
解决通用LLM「偏科」问题,数学大模型MathGPT要来了!
270 0
|
存储 数据采集 人工智能
CMU创建一个开源的AI代码生成模型,C语言表现优于Codex
CMU创建一个开源的AI代码生成模型,C语言表现优于Codex
392 0
下一篇
无影云桌面