前Facebook AI翻译主管加盟阿里达摩院,致力图片、视频、声音“秒翻”

简介:

日前,前Facebook(脸书)应用机器学习部AI翻译团队主管黄非博士入职阿里巴巴达摩院。

入职后,他将在达摩院机器智能技术实验室,和同事推动AI翻译在新零售、跨境电商、视频等领域的实时翻译应用。

“语言”是跨境交易头号拦路虎。在阿里巴巴国际站,7成买家以英语沟通,还有30%为小语种。而卖家端的调研数据显示,大约96%的卖家对小语种无能为力。 阿里目前需要翻译的商品总量超过4亿。

5月18日,阿里巴巴在跨境电商中正式上线对话实时翻译功能,破解买卖家语言不通难题。据悉,这是全球首个电商领域的实时翻译AI(人工智能)产品。

目前,阿里AI实时翻译日均翻译次数达7.5亿,每年翻译次数超3000亿。公开资料显示,这是全球电商领域AI翻译之最。伴随电商全球化的步伐,阿里AI翻译发展壮大,其AI实时翻译工具目前提供21种热门语言,包括43个语言方向翻译服务,满足全球用户浏览不同国家商品的翻译需求。

8c9c2d889148f71cd23ae4fe564ca7c1e4abbc7c

实时翻译

因此,阿里AI实时翻译俨然成了阿里全球化战略的“技术生命线”。

黄非说,“选择从Facebook来到阿里,主要是因为这里有着丰富的应用场景,能给AI翻译学科带来更广阔的研发和想象空间。”

他介绍,主流商业AI翻译引擎都基于文本,进行海量比较、学习。这种单一维度的数据分析方法,面临模型的学习效率低下等瓶颈。而基于阿里丰富的应用场景,他和同事可以尝试建立包括图片、图像、声音等多模态数据维度的翻译架构,使得AI翻译的学习过程,更接近人的学习语言过程。

1dd9e1c259305185b64a29352e0429e431ae78f9

“人学习语言,不是简单背字典,而是掌握图像、声音等字词延伸内容后,理解字词使用的环境以及背后含义。而目前的AI翻译引擎,可以说是海量学习、比对网上的‘双语文本数据字典’,这样的学习效率其实并不高。而基于多模态的翻译架构,将综合学习字词语义以及相关的图像、语境等含义, 力求更接近人类学习语言,理解世界的方式。”黄非表示。

在黄非博士加入达摩院之前,陈博兴、刘晓钟两位博士也加入了达摩院机器智能实验室NLP团队。陈博兴博士曾在加拿大国家研究委员会从事机器翻译研究,刘晓钟博士曾在美国雅虎从事信息检索工作。

aabf9773b509efedbf13adbb5a02cc81ce32d8ab

阿里达摩院机器智能技术NLP团队负责人司罗介绍,NLP团队现有近百人分布在中国、美国、新加坡等实验室,30%以上人员有博士学历,团队还在招贤纳士。

日前,有消息称,阿里巴巴将于下半年正式推出语音实时翻译和直播视频自动生成双语字幕功能,届时,跨境商家可直接通过视频交流。各位科学家的陆续加入,无疑将加速这一进程。


原文发布时间为:2018-05-21

本文作者:孙茜茜

本文来自云栖社区合作伙伴“天下网商”,了解相关信息可以关注“天下网商”。

相关文章
|
3天前
|
人工智能 自然语言处理 开发者
AIGC创作活动 | 跟着UP主秋葉一起部署AI视频生成应用!
本次AI创作活动由 B 站知名 AI Up 主“秋葉aaaki”带您学习在阿里云 模型在线服务(PAI-EAS)中零代码、一键部署基于ComfyUI和Stable Video Diffusion模型的AI视频生成Web应用,快速实现文本生成视频的AI生成解决方案,帮助您完成社交平台短视频内容生成、动画制作等任务。制作上传专属GIF视频,即有机会赢取乐歌M2S台式升降桌、天猫精灵、定制保温杯等好礼!
|
3天前
|
人工智能
一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流(清晰的实例)
用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流(清晰的实例)
170 2
|
3天前
|
机器学习/深度学习 编解码 人工智能
麻省理工AI新研究可将马赛克变视频
【2月更文挑战第30天】麻省理工学院等机构的研究团队推出AI新技术FeatUp,可将低分辨率图像提升为高清视频,该技术在2024年ICLR会议上引起关注。FeatUp基于深度特征提取,通过多视角一致性损失恢复空间信息,提高视频清晰度。模型通用性强,适用于多种任务和现有应用。实验显示,它在图像超分辨率和端到端学习模型性能提升上超越其他方法。然而,尚存在对某些内容处理不完善和计算资源需求高的局限性。
61 2
麻省理工AI新研究可将马赛克变视频
|
3天前
|
人工智能 vr&ar
AIGC领域又有大动作了!AI视频“黑马”Morph Studio 来袭,1080P高清画质视频免费生成!
AIGC领域又有大动作了!AI视频“黑马”Morph Studio 来袭,1080P高清画质视频免费生成!
|
3天前
|
人工智能 监控 算法
java智慧城管源码 AI视频智能分析 可直接上项目
Java智慧城管源码实现AI视频智能分析,适用于直接部署项目。系统运用互联网、大数据、云计算和AI提升城市管理水平,采用“一级监督、二级指挥、四级联动”模式。功能涵盖AI智能检测(如占道广告、垃圾处理等)、执法办案、视频分析、统计分析及队伍管理等多个模块,利用深度学习优化城市管理自动化和智能化,提供决策支持。
271 4
java智慧城管源码 AI视频智能分析 可直接上项目
|
2天前
|
机器学习/深度学习 人工智能 TensorFlow
生成完美口型同步的 AI 数字人视频
在当今数字媒体和人工智能技术的推动下,生成完美口型同步的AI数字人视频成为备受关注的研究领域。本研究旨在开发一种技术,能够实现生成完美口型同步的AI数字人视频,使虚拟人物的口型与语音内容完美匹配。采用了深度学习方法,结合了语音识别、面部运动生成和视频合成技术,以实现这一目标。通过语音识别模型将输入的文本转换为音频波形,利用面部运动生成模型根据音频波形生成对应的面部动作序列,这些动作序列可以准确地反映出发音的口型和面部表情,最后生成口型同步的AI数字人视频。这项技术具有广泛的应用前景,可用于虚拟主持人、教育视频、学习平台等领域,提升视频内容的真实感和沟通效果。
19 0
|
3天前
|
机器学习/深度学习 敏捷开发 人工智能
吴恩达 x Open AI ChatGPT ——如何写出好的提示词视频核心笔记
吴恩达 x Open AI ChatGPT ——如何写出好的提示词视频核心笔记
28 0
|
3天前
|
机器学习/深度学习 人工智能
超越Sora极限,120秒超长AI视频模型诞生!
【5月更文挑战第1天】 StreamingT2V技术突破AI视频生成界限,实现120秒超长连贯视频,超越Sora等传统模型。采用自回归方法,结合短期记忆的条件注意模块和长期记忆的外观保持模块,保证内容连贯性和动态性。在实际应用中,展示出优秀的动态性、连贯性和图像质量,但仍有优化空间,如处理复杂场景变化和连续性问题。[链接](https://arxiv.org/abs/2403.14773)
31 3
|
3天前
|
人工智能
Raspberry Pi利用AI在电子墨水显示屏上创作图片故事书
`Thomas Valadez` 创造了一款名为 `Storybook Pi` 的项目,使用 `Raspberry Pi` 和 `AI` 来自动生成带有图片的睡前故事。故事和图像在 `Pi` 上本地生成,然后显示在低功耗的电子墨水屏上。虽然创作过程大约需要五分钟,但结果是独特的。项目基于 `Raspberry Pi 5`,建议使用至少 `32GB microSD` 卡。源代码和相关信息已在 `GitHub` 开源。
|
3天前
|
人工智能 数据安全/隐私保护
Sora超逼真视频引恐慌!Nature刊文警示AI视频模型,或在2024年颠覆科学和社会
【4月更文挑战第27天】OpenAI公司的新型AI工具Sora能根据文字提示生成超逼真视频,引发关注。尽管已有类似产品,如Runway的Gen-2和谷歌的Lumiere,Sora以其高质量生成效果领先。该技术的进步可能导致2024年全球政治格局的颠覆,同时带来虚假信息的挑战。OpenAI已组建“红队”评估风险,但虚假视频识别仍是难题。尽管有水印解决方案,其有效性尚不确定。Sora在教育、医疗和科研等领域有潜力,但也对创意产业构成威胁。
27 2

热门文章

最新文章