Kaggle数据增强攻略来了!不氪金实现50种语言互译

简介: Kaggle数据增强攻略来了!不氪金实现50种语言互译

俗话说,巧妇难为无米之炊。作为一名NLP算法工程师,我对这句话实在是感同身受。在平时的工作或比赛中,数据量匮乏是极其常见的问题,有时候甚至压根就没数据!


面对这些情况,首先想到的方法可能是通过搜索引擎查找开源数据集。然鹅无论是工作还是比赛中,我们面对的基本上是细分领域的场景,公开数据很难满足需求。而且不同公司的内部需求场景天差地别:比如A公司的需求是对用户的个人简介做人物画像以精准推送相关新闻,B公司的需求可能是根据用户评论做恶意评价判定。这些场景下,公开的同类型数据可能帮助很有限,倒是可以考虑做个迁移学习。同时中文领域公开数据集不足,想迁移估计都挺困难。假如我们有少量数据,或正好能找到对应的英文或者其他外语语料,如何快速获得大批数据呢?最简单的一种方法,翻译!


那如果没有翻译的基础,不能构建相应的翻译模型咋办?用百度或者谷歌等现成的翻译API接口呀!如果数据量很大,又不想氪金怎么办?额...用免费的谷歌翻译接口吧!这类接口一般会有访问频率限制,同时长时间访问会被系统限制🚫。咱们学生党做个比赛,面对几万或者几十万篇wiki文档的翻译,那真的是挠破头皮了!有没有什么免费好用的接口呀?没有!免费好用确实不存在。但是,我们可以利用现有工具“创造”一个新的翻译接口出来!


离线回译数据增强

下面,为大家介绍一下最近我在Kaggle竞赛中使用的增强方法:离线回译数据增强。

“离线回译数据增强”使用Seq2Seq预训练模型翻译来进行数据增强,可以自己构建翻译模块,不用访问任何在线API,即能翻译海量数据;适用场景广,尤其是某些比赛有不能联网的限制。听到“Seq2Seq+翻译+构建”,是不是就头皮发麻了?不着急,整个流程我已经帮你构建好了,只需要调用它就行,而且你还不需要有自己的GPU!


直接放链接了:

https://www.kaggle.com/vanle73/back-translation-offline-for-data-augmentation

如果你还不知道怎么用Kaggle平台,可以参考这篇文章:实验室一块GPU都没有怎么做深度学习?


白嫖的显卡,才是真的香!


下面简单介绍下食用方法,整个离线翻译的notebook分为3部分:预训练模型下载、翻译接口构建、示例。


预训练模型下载

这里使用的是Meta发布的mbart-large-50-many-to-many-mmt预训练模型,它是mBART-large-50针对多语种互译进行微调得到的翻译模型。


该模型能够在50种语言之间进行互译,实现49*50=2450个语种对的翻译。原来的回译可能比较拘束:中文->英文->中文现在,回译流程可以这样玩:中文->泰米尔语->印尼语->西班牙->中文妈妈再也不用担心我不懂“泰米尔语”了!翻译接口构建为了能够加速翻译,同时支持长文本输入(输入文本tokenized之后的长度大于512),我设计了一个接口:


def trans_module(text, source_language, target_language, piece_len=256, max_batch =8):
    '''
    piece_len: max length of input
    max_batch: num sample of translation per time
    '''
    # 完整代码请参考:https://www.kaggle.com/vanle73/back-translation-offline-for-data-augmentation


通过设定piece_len(输入长文本拆分后每个片段的长度,应小于512)和max_batch(每次并行翻译的样本量,针对长文本),你可以根据自己的GPU显存大小和样本长度得到最优的翻译效果。最后返回的内容是整个长文本的翻译结果。


参考示例

实际调用的例子就非常简单啦,直接调用trans_module即可。例如现在有一个英文句子,

Looks like be have an abuser , can you please look into this?  thanks.能够看到“英翻中”和“中翻英”的结果还不错:

微信图片_20220524150528.png


更多语种的调试,留给大家亲自测试啦!

通过本文介绍的回译增强方法,结合简单的数据清洗规则,可以帮助你的数据规模实现double翻倍!


同时,在回译流程中引入多语种链路,相比传统的单语种翻译在文本表达上也会有更好的多样性。


相关文章
|
存储 机器学习/深度学习 算法
使用 OpenCV4 和 C++ 构建计算机视觉项目:1~5
使用 OpenCV4 和 C++ 构建计算机视觉项目:1~5
320 0
|
SQL HIVE
hive中的 lateral view
hive中的 lateral view
182 0
|
8月前
|
人工智能 开发框架 安全
Smolagents:三行代码就能开发 AI 智能体,Hugging Face 开源轻量级 Agent 构建库
Smolagents 是 Hugging Face 推出的轻量级开源库,旨在简化智能代理的构建过程,支持多种大语言模型集成和代码执行代理功能。
591 69
Smolagents:三行代码就能开发 AI 智能体,Hugging Face 开源轻量级 Agent 构建库
|
8月前
|
存储 人工智能 安全
函数计算助您 7 分钟极速部署开源对话大模型
本方案利用函数计算的无服务器架构,您可以在函数计算控制台选择魔搭(ModelScope)开源大模型应用模板;同时,我们将利用文件存储 NAS ,为应用服务所需的大模型和相关文件提供一个安全的存储环境;最终通过访问提供的域名进行模型的调用与验证。仅需三步,即可玩转目前热门 AI 大模型。
|
开发工具 git
完美解决 fatal: unable to access ‘https://github.com/.../.git‘: Could not resolve host: github.com
完美解决 fatal: unable to access ‘https://github.com/.../.git‘: Could not resolve host: github.com
34835 1
|
10月前
|
传感器 机器学习/深度学习 人工智能
自动驾驶汽车中的AI:从概念到现实
【10月更文挑战第31天】自动驾驶汽车曾是科幻概念,如今正逐步成为现实。本文探讨了自动驾驶汽车的发展历程,从早期的机械控制到现代的AI技术应用,包括传感器融合、计算机视觉、路径规划和决策控制等方面。尽管面临安全性和法规挑战,自动驾驶汽车在商用运输、公共交通和乘用车领域展现出巨大潜力,未来将为人类带来更安全、便捷、环保的出行方式。
|
10月前
|
监控 负载均衡 网络协议
OSPF在大型网络中的应用:高效路由与可扩展性
OSPF在大型网络中的应用:高效路由与可扩展性
686 1
|
分布式计算 自然语言处理 监控
大数据Spark对SogouQ日志分析
大数据Spark对SogouQ日志分析
479 0
|
监控 项目管理
软件项目管理:从计划到成功的实践
【8月更文第20天】在快速变化的IT行业中,高效的软件项目管理是确保项目成功的关键。本文将探讨软件项目管理中的几个核心领域:项目计划与估算、风险管理、人员配置与团队建设以及进度控制与成本管理,并通过具体案例加以说明。
1009 2
时间序列分析实战(六):ARIMA乘法(疏系数)模型建模及预测
时间序列分析实战(六):ARIMA乘法(疏系数)模型建模及预测