追番神器+1!即时翻译、瞬间排版,这个基于漫画的AI系统居然想消灭汉化组?-阿里云开发者社区

开发者社区> -技术小助手-> 正文

追番神器+1!即时翻译、瞬间排版,这个基于漫画的AI系统居然想消灭汉化组?

简介: 追番神器+1!即时翻译、瞬间排版,这个基于漫画的AI系统居然想消灭汉化组?
+关注继续查看

看番,周更太慢!

想看原版漫画,不会日语,愁死个人!

虽然现在在各大社交媒体上都有民翻,但是想看的漫画偏偏太过小众,没人翻译!

别急别急,救星来了。

去年,一位叫作石渡祥之佑的小哥开发了一个AI系统Mantra,该系统结合了特定于漫画的图像识别技术、机器翻译和外语排版自动化技术,也就是说,能够直接在漫画原文上实现翻译。

要知道,在日本,漫画的出版占到了整体出版物的40%,人工翻译费用更是高达每本200,000到300,000日元。

这项AI技术不仅提升了漫画翻译的速度,翻译的成本也降低了60-70%。

说到这,文摘菌想到AI也曾帮助中国爽文成功出海,看来AI对文化产业仍然有十分重要的贡献。

这个项目在开发初期就接受到了来自东京大学FoundX计划、IPA、东大IPC计划的支持。最近,DEEPCORE、DMM VENTURES、Legend Co、天使投资等更是对其投资8000万日元。

看得出来,大家对漫画出海抱有十分强烈的信心和希望。

而且敲黑板划重点,Mantra服务预计将在7月正式对外开放,本年度的精神支柱就靠它了。

剑指海外发行,Mantra实现的不只是简单的文本翻译

Mantra主要实现了两项功能,首先是机器翻译,在这方面,研究人员对Mantra进行了特定于漫画的技术处理,在这个基础上,Mantra能够实现多语言无障碍翻译。

针对漫画的机器翻译技术到底是怎么回事,石渡小哥介绍道,简单来说,Mantra就是把传统的手动翻译自动化了。

人为翻译漫画主要有以下三个步骤:
对文本转录;
填充语言气泡的文本部分并进行翻译;
把翻译好了的文本进行正确地排版。

看得出来,漫画的机器翻译就不只是语言的转换,还包括了翻译后的排版工作。

要实现这两项功能,首先要准确定位到语言气泡,然后再对其中的文本进行识别与翻译。

听起来容易,但是要知道,漫画中的气泡文本排版没有能够总结的规律,还存在字体大小和样式的差异,这些都将使得漫画的机器翻译比传统商业翻译更为困难。

要解决这个难题,石渡小哥开发了专用于漫画字符识别的OCR引擎,在OCR引擎的助力下,系统可以准确地检测和识别气泡中的文本,即使漫画图像十分拥挤也不在话下。

左边是日语原版,右边是Mantra的机器翻译版本,可以看到翻译和排版的精度都相当高

不过总的来说,翻译的难度要大于识别难度,因为漫画里面经常出现口吃或者中途断句等口语行为,还要处理好文字和表情的关系。

目前,团队也正在针对漫画表情开发识别引擎。

要完全实现漫画翻译想必也十分耗时耗财,也正是因为如此,团队的目标首先就是降低人工翻译的花费,目前的翻译仍然需要人工修正,为了更好地进行编辑,团队也正在开发一种新工具更好地将机器翻译和人工翻译结合起来。

对于Mantra的潜在发展目标,石渡小哥表示,希望能将该技术利用到出版行业,拓展漫画的海外市场,以及将其用于个人使用,有助于漫画作者在社交媒体上自由地发布作品。

要打造一个漫画文字瞬间走向世界的未来

石渡小哥介绍道,其实Mantra的开发也是纯属偶然。

在博士阶段,他曾向ACL大会提交了一篇机器翻译的论文,当时他的一位同期日亚正在攻读图像识别领域的博士学位,他也曾向相关领域的顶会投了一些论文。

于是在他博三的暑假,他们两人一拍即合,决定一起做个副业,用机器翻译一本漫画书,这也是他们做了一些用户访谈之后定下来的方向。

“如果能好好利用机器翻译漫画相关技术,也许就能打造一个让文字漫画在瞬间走向世界的未来。”

后来,我们对这个项目越来越上心,博士毕业之后,决定以创业的方式进行正式的研究。

在Mantra的开发过程中,他们也遇到了不少困难,比如,石渡小哥就分享道,首先在训练数据上就是缺失的,当时并没有基于双语的漫画数据。

本着万事开头难的信念,他们决定抽选很少一部分已经被翻译成外语的漫画作品,从中提取出双语文本数据,这样就以很低的成本创建了首个漫画翻译领域的双语数据库。

如今,在漫画翻译上,还存在很多问题有待解决,比如有时候人物对话会突然被打断,中间出现一个文本气泡,以及在漫画对话中经常会省略主语和宾语。

最近,他们也正在针对这些问题进行逐一攻克,目前的译文准确率还不是很高,在完全没有人为修正的情况下,能勉强读懂30%的内容,他们的目标是实现70%-80%的可读性。

Mantra的目标是确保所有的漫画作品都能即时传送到全世界粉丝手上,如果一位日本漫画家的作品发布在了平台上,就会被瞬间翻译成5-10种不同的语言,这样的平台能够实现,相信也能从技术上消灭盗版。

为了让更多的人能够使用,他们也正计划把平台支持的语言扩展到目前的英文和中文之外。

汉化不能少!B站手把手教你安装,追剧不停

不要以为翻译只有输出国的技术人员在着急,输入国的粉丝简直眼睛都要望穿了,这其中,中国肯定要占上一席。

于是,汉化组们可能要哭了,因为B站上有一个UP主开源了一款OCR翻译软件。

根据介绍,当在屏幕上设定好翻译框后,出现在框中的外语都会被自动识别并快速翻译成中文,不仅支持漫画,还支持游戏、番剧、PDF文献等。

在GitHub上,官方人员总结了这款翻译软件的六大优缺点:
适用范围全面,几乎所有出现在屏幕的东西都可以翻译;
翻译接口多,目前有12个翻译接口;
简洁美观的界面;
及其简单傻瓜的操作方式;
相比较其他OCR翻译器配置有自动翻译模式;
需要联网,可能视网速不同翻译速度有差。

GitHub链接:
https://github.com/PantsuDango/Dango-Translator

不过总的来说,还是很香的,网友们也纷纷表示,太香了太香了,简直比YouTube还香!

在使用上,有人表示,虽然需要付费,但是免费额度已经足够打游戏用了。不过看到这么香的翻译软件真的能控制住想要打钱的冲动吗?

在B站上,开发人员也上传了视频对如何安装进行了手把手的教学:

视频链接:
https://www.bilibili.com/video/BV1gp4y1Q7Ts

正好,端午到了,出得去的出不去的,都浪起来!

相关报道:
https://ainow.ai/2019/12/09/181620/
https://ainow.ai/2020/06/08/223964/

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
云测数据:在AI商用之前,我们要先教会它们认知世界
屏前幕后,孜孜不倦的人们,用「数据标注」教会 AI 认识现实世界。而他们所处的数据采标行业本身,也正在从早期粗糙的「数据作坊」发展成为「数据工厂」的专业化运作。如今,这些流程已经发展出一条完整的产业链——采集、整理、清洗、标注,流水线似的过程恰恰是 AI 算法模型精确运行的根基所在。随着 AI 技术在应用场景下沉,AI 企业对算法落地性要求越来越高。此时,垂直精细和定制化数据显得尤为重要。2018 年,中国人工智能基础数据服务市场规模为 25.86 亿元,其中数据资源定制服务占比 86%。Testin云测旗下的 AI 数据服务品牌「云测数据」的出现,就是一个典型案例。
3 0
SpringBoot核心【starter启动器】
SpringBoot为我们提供了简化企业级开发绝大多数场景的starter pom,只要使用了应用场景所需要的start pom,相关的技术配置将会消除,就可以得到SpringBoot为我们提供的自动配置的Bean。
4 0
搜索CIFAR10只需1个半小时:华为诺亚&上交大ICLR 2020提出更快、更稳定、性能更好的可微分架构搜索
人工智能顶会 ICLR 2020 将于明年 4 月 26 日于埃塞俄比亚首都亚的斯亚贝巴举行,不久之前,大会官方公布论文接收结果:在最终提交的 2594 篇论文中,有 687 篇被接收,接收率为 26.5%。华为诺亚方舟及其合作实验室有多篇论文被 ICLR 2020 接收,本文介绍了其中一篇 Spotlight 文章。
3 0
新题速看!2021阿里、字节都在问的SQL数据库笔试题及答案都给你整理好啦!
2021到了最后一个月份,年后肯定有蛮多小伙伴需要跳槽换工作,但对于年限稍短的软件测试工程师,难免会需要进行笔试,而在笔试中,基本都会碰到一道关于数据库的大题,今天这篇文章呢,就收录了下最近一些数据库笔试真题,包含答案!
4 0
NoSQL(MongoDB,Hbase,Redis)介绍
NoSQL,泛指非关系型的数据库,随着互联网的发展传统的关系型数据库面对持续增长的数据处理起来显得越来越力不从心,此时非关系型数据库应运而生。
3 0
为socket的recv/send设置超时
为socket的recv/send设置超时
3 0
SAP S4HANA里关于生产订单的一些重要数据库表
SAP S4HANA里关于生产订单的一些重要数据库表
4 0
AI加持的精准天气预报将从深圳开始:两小时内,一平方公里范围
在天气预报中,我们常常会听到「局部地区」这样的字眼。随着技术的发展,「局部」出现的次数正越来越少。在深圳,大数据和人工智能的融入将在不久之后为我们带来「精准到街区」的个性化天气预报服务。
3 0
全国90%法官都在用的AI工具,来自首家上市的中国AI公司
人工智能在国内法律领域已经有了大面积的应用。
3 0
德国同事Heiko开发的ABAP工具,能检测HANA数据库执行SQL的CPU tim
德国同事Heiko开发的ABAP工具,能检测HANA数据库执行SQL的CPU tim
4 0
1457
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载