人工智能的技术变革:HMS Core 让你也拥有《星球大战》中的机器人

简介: 你还记得《星球大战》电影中的礼仪机器人 C-3PO 吗?就是那个承担着不同种族、不同物种间翻译交流作用的礼仪机器人。C-3PO 通过从数据库中下载资料来更新自己的语言技能,精通 700 万种语言交流形式,可以说是对宇宙间的所有已知语言尽数掌握。

你还记得《星球大战》电影中的礼仪机器人 C-3PO 吗?就是那个承担着不同种族、不同物种间翻译交流作用的礼仪机器人。C-3PO 通过从数据库中下载资料来更新自己的语言技能,精通 700 万种语言交流形式,可以说是对宇宙间的所有已知语言尽数掌握。

image.png

/*来源:电影《星球大战》场景截图

对于有翻译需求的人来说,愿望就是拥有一个像 C-3PO 机器人一样可以翻译无限语种、在各种场景下都可以即刻准确进行语言翻译的设备。在解决这个用户需求时,对于技术能力没有那么强的企业来讲,靠自研能力并不是那么容易做到,因为这其中涉及到了自然语言处理等一系列的人工智能(AI)技术难点。

这背后映射的便是如今国内企业技术开发的现状。近些年来,虽然 AI 技术在企业经营管理各环节的价值已得到市场验证,但企业在进行 AI 开发时,却面临着技术人才储备不足、AI 应用部署困难、投入产出比不达预期等问题。

所以,如果开发者能在产品开发过程中集成一些像 C-3PO 机器人一样可快速且准确识别、翻译等功能的服务套件,那将帮企业大大提高开发质量和效率,有效缩减开发成本,也缓解了开发者的技术研发压力。

但我今天想说的是,或许 HMS Core 机器学习服务(ML Kit)已经帮助各位开发者解决了上述问题。开发者通过 ML Kit 可以搭建属于你自己的“C-3PO 机器人”。

一、ML Kit 为 AI 语音技术发展做出的努力

自 2021 年起,Meta、谷歌和 NVIDIA 等厂商陆续加入了虚拟世界的潮流,推动语音 AI、计算机视觉、自然语言理解 (NLP) 和虚拟现实 (VR) 方面的创新,以创建能够识别语音和与用户交流的服务。从市场增长维度来看,语音激活系统、语音虚拟助手和语音设备的需求增加带动了相关行业的发展。那么,ML Kit 为此做出了哪些努力?

在 5 月 24 日 HDD 大会上 HMS Core 机器学习服务产品经理发表的《ML Kit 高效助力跨语种沟通》 演讲中,我们就领略到了 ML Kit 翻译服务的超强能力。该服务支持丰富多样的使用场景,比如邮件翻译、通话翻译、阅读翻译、实时语音翻译、AR 翻译。

image.png

ML Kit 翻译服务的最大优势在于端云协同,云侧低时延、多垂域覆盖、支持 50+ 语种互译,端侧在隐私保护、无网络使用、轻集成方面做得十分出色。

image.png

从系统架构来看, 算法层作为 ML Kit 翻译服务的核心,大语种整体基于英文翻译进行桥接,同时正积极打造中文直译的翻译系统,运用三角翻译、术语增强和课程学习等技术在低资源场景下进行了优化,打造出 HMS Core 差异竞争力。通过训练多语种模型来实现了小语种的翻译,让系统变得全知全能。在业务层的实现上则是打了一套前后处理、Feedback 回流、路由服务、中间件管理的组合拳。

ML Kit 文本翻译的解决方案以文本编码 + 受限解码的 Transformer 架构为核心,算法方案则是以多头 + 高维多层结构的 Transformer-encoder(Large),搭配应用了剪枝 +Rnn 解码算法、在行业内具有优势的 Rnnformer-Decoder(Shallow)的模型结构,通过数据清洗、数据脱敏、数据增强的过程完成平行语料的构建。比如,通过标点归一化、DNT 替换、句长控制和语义去重,进行数据清洗;通过 DNT 替换、句长控制和语义去重等方法,进行数据增强等。

image.png

值得一提的是,在推理加速方面,ML Kit 翻译服务基于华为自研的诺亚 bolt 推理框架,应用了权重共享、动态小词表、混合精度计算、量化存储、图优化、缓存配置、快速矩阵乘法、ARM 大小核优化、GPU 加速、算子加速等 10 多种算法,整个翻译模型的速度和稳定性都得到了保障。

ML Kit 文本翻译服务可以同时支持端侧、云侧的调用,不仅服务覆盖全球,安全性能也很高,数据处理过程符合 GDPR 标准,这些特性让 ReadEra(俄罗斯的一款免费图书阅读类 APP)用很少时间就解决了相关技术难题。举个例子,集成 ML Kit 文本翻译服务后,ReadEra 解决了过去“只能通过调用第三方的翻译软件实现翻译,不能实现 App 内翻译”的业务问题,目前该 APP 已支持 12 种语言翻译,服务覆盖全球。

在 AI 语音技术领域,ML Kit 算是一位入局较早并全面发展的选手,陆续实现了文本翻译、语种检测、实时语音识别、音频文件转写、实时语音转写、声音识别等语音语言类服务的支持与迭代。ML Kit 表现也比较突出,比如实时语音识别准确率能达到 95% 以上。另外,今年 6 月,ML Kit 翻译服务将上线同声传译功能,能力矩阵再次扩充。

image.png

二、ML Kit 不仅只研究语音语言

ML Kit 是一个提供机器学习套件的平台,除了 AI 语音语言类服务,ML Kit 还提供丰富的文本类、图像类和人脸人体类、自定义模型等简单易用、技术领先的 AI 服务。

image.png

ML Kit 支持图像分类、对象检测、地标识别、图像分割、场景识别、拍照购物、图像超分、文档矫正八大图像类服务。其中,ML Kit 图像分割服务的精细化分割,平均交并比 mIoU(衡量图像分割精度的一个指标)优于业界参考水平。

一款以抠图为特色玩法的专业图片编辑 App——Cut Cut 的行业强竞争力就是得益于 ML Kit 图像分割服务的集成。ML Kit 图像分割服务分割图片速度快、准确度高,支持端侧处理,不依赖用户网络环境,算法随时随地可在本地流畅、精准运行,且无数据上传泄露风险。ML Kit 模型伴随 HMS Core 版本动态更新,无需重复、频繁发布应用版本,Cut Cut 的开发者集成该服务后,仅进行了一次开发,便享受到了模型持续更新升级的便利。

image.png

ML Kit 支持人脸检测比对、活体检测、骨骼点检测、手势识别、人脸检测五大人脸人体类服务。比如俄罗斯的 Photo Deformer 图像编辑 APP,通过集成 ML Kit 补全了图像中多人脸检测的功能,通过 855 点的人脸轮廓检测,增加了检测精度,扩展了业务场景,为用户提供了更加准确、全面的图像编辑服务,改善用户体验,大大提升了产品竞争力。

三、除了 ML Kit,HMS Core 还有其它“AI 超能力”

HMS Core 是华为移动服务提供的端、云开放能力的合集,是华为为其设备生态系统提供的一套应用程序和服务,开发者只需集成 HMS SDK 即可使用华为的多个开放能力。ML Kit 以外,HMS Core 还有许多可应用于 AI 领域的开放能力。比如:

视频编辑服务(Video Editor Kit)是帮助开发者快速构建视频编辑能力的服务,AI 实时处理能力最低时延控制在了 20 秒以内,GPU 解码速度和合成视频的导出时长均低于行业水平 30% 以上。HEVC 编码高效,目前高清视频文件大小已低于行业水平 20% 以上。

image.png

音频编辑服务(Audio Editor Kit)是帮助开发者快速构建各类应用音频能力的服务,提供 AI 配音、音源分离、空间渲染、变声、多种音效等一站式音频能力,音源分离能通过 4 行代码集成实现人声与乐器伴奏音轨分离的效果。

image.png

作为 HMS Core AI 领域构建中的重要一环,面向智能终端的 AI 能力开放平台 HUAWEI HiAI Foundation,目前已支持 KwaiNN、TNN、MindSpore Lite、ByteNN、MNN、Paddle Lite 等国内主流框架。

image.png

5 月 24 日 HDD 大会上海思 HiAI Foundation 生态技术专家就《HUAWEI HiAI Foundation 助力开发者快速部署 AI 应用》的演讲中对该产品做了全面介绍:

端云协同、优化算子库推送:运用算子库、性能优化推送到端侧和通过插件进行模型编译的关键技术,针对新业务场景和已有典型业务场景算子,提供性能优化、快速升级平台能力的解决方案。客户云侧建立保存模型、数据、软件栈,华为云则负责保存算子库、优化策略(如融合、异构)等,力求做到重要数据不出端、优化策略快速使能设备,助力应用快速上线。

Model Zoo 助力开发者使能 NPU 加速:从 AI 基础学习、模型设计、AI 产品开发、技术交流 4 个维度出发,辅助开发者优化模型结构。将 NPU 模型结构、Backbone、算子投入其中供开发者自行挑选使用,更好地利用 NPU 的加速优势,从而更大程度地利用底层算力。

硬件底层多 IP 深度协同:多 IP 协同使能 E2E 业务极致性能,CPU、NPU、ISP、GPU 等各计算 IP 可以共用 DDR 内存,全流程数据零拷贝。节点自动融合优化,节点间内存自动分配;调度任务自动编排,支持优先级控制,提升性能又能降低功耗。

自主调优工具包帮助精准优化模型:提供模型量化工具包,正常情况下开发者 32bit 的训练模型直接可被量化为更小、更轻便且更适合 NPU 结构的低比特模型,无需二次调整便可降低计算资源的消耗;提供网络结构搜索工具包,支持多种主流训练框架使能,比如 Caffe、tensorflow、pytorch,针对多种主流硬件平台具有算力和时延建模的能力。

像应用了 HUAWEI HiAI Foundation 的拍立淘,NPU 算力赋能阿里 MNN 模型推理加速,拍立淘模型推理提速可达 3 至 5.8 倍,毫秒级以图搜图的体验。而且 NPU 算力为模型精度带来了更多提升空间,模型推理功耗大大降低。

随着 HMS 生态不断壮大,截至 2021 年 12 月 31 日,HMS Core 全球注册开发者已超过 540 万, 全球集成 HMS Core 的应用超过 20.3 万个。HMS Core 持续构建多终端、跨 OS、全场景的创新开放能力,面向开发者持续提供行业解决方案,对此感兴趣的开发者可以到华为开发者联盟官网了解更多信息。

四、写在最后

AI 技术已经在众多行业里得到应用,比如电商、物流、运输、工业等。麦肯锡发布的报告发现,如今全球有 56% 的企业至少在一项业务功能中使用 AI,还有近三分之二的企业计划在未来三年内增加对 AI 研发与应用的投资。Gartner 的一项调查也发现,36.3% 的客户服务领导者计划到 2023 年部署人工智能。

AI 技术的应用是大势所趋,但把视角拉到具体实践上时,我们会发现,人工智能一度被许多企业认为是空中楼阁。因为在智能技术与实体经济结合与迭代过程中,算法、算力与数据都难以捉摸,企业没有技术能力和大量成本去获取这些资源。降低 AI 开发的门槛是目前所有企业都在关注的问题,也是人工智能下一代技术的演进趋势。

这些现象都很好解释,AI 技术在促进各行各业快速高效发展的同时,现实的业务需要也在反向促进着 AI 技术的迭代变革。而 HMS Core 在做的事情就是帮助企业快速完成技术迭代,基于华为长期的技术积累,通过持续不断的创新,为企业带来源源不断的发展动力,为客户和社会创造价值,共建绿色智能世界。

目录
相关文章
|
4天前
|
人工智能
要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 27 章:如何避开和绕过所有人工智能内容检测器
要求CHATGPT高质量回答的艺术:提示工程技术的完整指南—第 27 章:如何避开和绕过所有人工智能内容检测器
18 3
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术:从理论到实践——以Chatbot为例
AI技术:从理论到实践——以Chatbot为例
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用与挑战
【10月更文挑战第3天】本文将探讨AI技术在自然语言处理(NLP)领域的应用及其面临的挑战。我们将分析NLP的基本原理,介绍AI技术如何推动NLP的发展,并讨论当前的挑战和未来的趋势。通过本文,读者将了解AI技术在NLP中的重要性,以及如何利用这些技术解决实际问题。
|
2天前
|
机器学习/深度学习 人工智能 TensorFlow
AI技术在医疗诊断中的应用与挑战
【10月更文挑战第2天】本文将探讨AI技术在医疗诊断领域的应用及其带来的挑战。我们将通过实际案例和代码示例,展示AI如何帮助医生更准确地诊断疾病,并讨论其面临的伦理和法律问题。
10 4
|
2天前
|
机器学习/深度学习 存储 人工智能
人工智能与未来医疗:革命性技术的潜力与挑战
【10月更文挑战第2天】 本文探讨了人工智能在医疗领域的应用及其潜在影响。通过分析当前AI技术的发展现状以及在医学诊断、治疗和患者管理中的具体应用,揭示了这一技术如何提升医疗服务质量和效率。同时,讨论了AI在医疗领域所面临的伦理、隐私和安全等挑战,呼吁建立相应的监管和标准以确保其安全有效地发展。
|
2天前
|
机器学习/深度学习 数据采集 人工智能
利用AI技术提升文本分类效率
【8月更文挑战第73天】在信息爆炸的时代,文本数据的快速增长使得文本分类成为数据处理的重要环节。本文将介绍如何利用AI技术提升文本分类的效率和准确性,包括数据预处理、模型选择与训练以及结果评估等关键环节。通过实际案例的代码示例,我们将展示如何实现一个高效的文本分类系统。
|
2天前
|
机器学习/深度学习 人工智能 搜索推荐
AI与未来医疗:革命性的技术,触手可及的健康
在21世纪的今天,人工智能(AI)技术正在以前所未有的速度和规模改变着我们的生活。从自动驾驶汽车到智能家居,再到个性化教育,AI的应用无处不在。然而,最令人振奋的变革或许正发生在医疗领域。本文将探讨AI如何重塑医疗保健的未来,使高质量的医疗服务更加普及和触手可及。我们将深入了解AI在疾病诊断、治疗计划制定、患者监护和健康管理等方面的应用,并揭示这一技术革新如何助力医生提供更精准、更高效的医疗服务。同时,我们也将讨论伴随AI发展而来的挑战与机遇,以及如何在保障患者隐私和安全的前提下,充分发挥AI的潜力。
|
3天前
|
机器学习/深度学习 人工智能 搜索推荐
AI与未来医疗:革命性技术的崛起
【10月更文挑战第1天】人工智能在医疗领域的应用正在改变我们诊断和治疗疾病的方式。本文将探讨AI在未来医疗中的潜力,包括提高诊断准确性、个性化治疗方案以及药物发现等方面的内容。通过案例分析和数据支持,我们将看到AI如何成为现代医疗的重要组成部分。
19 4
|
1天前
|
机器学习/深度学习 人工智能 搜索推荐
人工智能与未来医疗:革命性的技术融合
随着人工智能(AI)技术的迅速发展,其在医疗领域的应用正逐步成为现实。本文将探讨AI在未来医疗中的潜力、挑战以及其对健康产业的影响。从疾病诊断到个性化治疗,再到医疗管理,AI正以其独特的优势改变着传统医疗模式,并预示着一场革命性变革的来临。
|
2天前
|
人工智能 监控 供应链
AI技术创业有哪些机会?
本文探讨了AI技术创业的多个机会,包括提供行业解决方案、开发智能产品和服务以及教育和培训,为创业者在医疗保健、金融服务、零售、教育等多个领域提供了丰富的机遇。
11 2

热门文章

最新文章