接上篇:https://developer.aliyun.com/article/1224763?spm=a2c6h.13148508.setting.24.1b214f0eEgbVNQ
二、创业伙伴可以借力的2项典型能力
能力一:座舱数字人
元宇宙、Web 3 概念愈发普及,应用到座舱场景下,可以实现座舱数字人。
基于天猫精灵的智能交互 OS 系统,使用最新的自然对话技术与多模交互方案,可快速实现落地,可以让第三方应用网快速接入。
座舱数字人具有以下几个特点:
● 支持 2D、3D 的形象快速定制。车主拍照上传即可快速生成3D形象(技术 要求高,需要深度大模型的训练),实现接近真人的个性化定制。可以选择发型、服装配饰,也可以针对脸部的细部比如鼻子、嘴巴等做调节。提供了写实风格形象以及卡通风格形象。
● 定制与车主真人接近的音色。
● 根据场景列表或设定的触发条件,自动与用户进行交互,使用体验更智能。利用音箱底层的 AI 交互大脑能力,自然对话时,音箱会与车主聊天或主动提问,背后是一套更复杂的平台架构提供支撑,可以定制个性化的应用
● 具备答疑解惑、娱乐活动、情感陪伴等能力。我们提供了非常强大的开发平台,开发者、创业者可以使用低代码的模式快速搭建应用。
● 支持空中3D 立体全息投影(裸眼3D),可以快速投放出数字的形象,实现更震撼的交互体验。
我们提供了纯文本/语音驱动数字人以及主动交互数字人。
纯文本/语音驱动数字人:输入文本或语音,即可驱动数字人面部的表情与拟人化的音色。同时也可以搭配脸部动作、手势等,人是视觉动物,交谈时搭配合适的动作可以使得体验更好。适用于语音内容视觉化、车载语音应用、短视频内容制作、线上电商品介绍、教育行业内容制作、线下场景内容宣传等。
主动交互数字人:相比前者,它更“聪明灵动”。背后连接了人工智能天猫精灵大脑,可以通过 NLU 的语义理解与用户自然对话。也可以搭配触发条件,比如摄像头识别车主上车后发出互动问候或提议一起玩游戏等,更像一个助手或朋友。适用于线上线下互动类、线下元宇宙、酒店行业的 AI 服务员、线上虚拟主播(设定好所有内容后即可实现线上 24 小时卖货)等。
座舱环境下,屏幕大小、音箱、灯光配置等均不同于 PC和手机,如果直接照搬PC或手机的游戏至座舱中,无法实现很好的用户体验。因此,我们要打造基于座舱的原生游戏,基于 AI 能力,通过人脸、肢体、手势、多模操控等更适合座舱的方式充分调动座舱内的音效、灯光,实现沉浸式体验。
座舱游戏最大的两个特点为:
● 多模交互。可以实现流畅的隔空操作,区别于外接操作手柄或触屏操作。
● 沉浸式体验。座舱是天然的游戏空间,配合座椅沙发、环绕声、氛围灯光、座椅以及超大屏幕,打造最佳的沉浸式体验。
那么,为什么座舱游戏已经成为一个趋势?
● 如今的车已经不是传统意义上的车,新能源车更像是一台计算机,类似于 iPhone 与诺基亚的区别。
● 年轻人买车更关注科技感与酷。买车送游戏座舱是一件很年轻很酷的事。
● 座舱天然具备绝佳的游戏空间条件。
● 从车厂角度,车辆被售出后,可以在增加有限成本的情况下,获得更多软件式的营收,同时也能为客户带来十分客观的体验感增强。
年轻人或家庭两大购车群体的使用场景主要包括车里午休、车里陪娃、车里放松、车里休闲。
对于车厂来说,座舱游戏具有三个非常重要的价值:
● 作为新车卖点,拉动销售。
● 车主人群运营。通过游戏来做车主运营,比如级别养成、分享 、排名、积分等,打造用户粘性。同时,可以做弱联机的游戏,加入社交元素,比如排名、交换、分享等,提升品牌粘性。
● 实现软件上的营收。
座舱游戏为什么需要原生?
首先,车辆的移动性无法百分百保证网络的稳定性,而网游对网络要求高,因此不适合照搬上车。
其次,受限于车机的硬件性能, 3A 大作不太适合照搬上车。
另外,座舱屏幕尺寸过大,手游不适合直接上车,体验感不像玩游戏,更像是弹钢琴。
最后,大幅身体互动类游戏也不适合上车。
因此,座舱需要原生游戏,通过AI+游戏+座舱为用车人员提供沉浸式体验。
阿里云的优势在于全套的 AI 参数以及边缘计算,支持专业的游戏厂商,创业伙伴很行业、懂用户,在游戏策划或相关技能应用方面有很深的积累。
我们可以将双方的技术优势联合起来,提供给主机厂,使游戏厂商和主机厂快速适配。
座舱游戏分为单人单机、多人单机以及多人多机。整套游戏底层共用计算单元,共用 AI 引擎,上层游戏独立分布,且多屏幕场景下支持多人同时独立游戏。车企希望为用户提供更丰富的娱乐,用户在车上多花时间,有利于车企后续做后向的运营。
我们欢迎各类创业者或开发者一起合作。比如游戏类开发者以及儿童益智类开发者可以与我们合作,将现有的点击类或触摸类的交互变为多模交互;比如生活服务的开发者注重场景化、智能化,希望在不同的场景之下更好地理解用户、感知用户,为其提供相关的服务,可以与我们合作,做出差异化;比如音频内容开发者可以与我们合作,从纯语音升级为个性化数字人播报。
我们可以为合作伙伴带来交互方式的升级(AI 交互能力支持)以及销售渠道的拓展。
AI 交互能力支持分为三类:
● 智能语音交互:包括ASR 端上的自动语音识别、NLU、个性化TTS音色、说话人检测、多模态主人识别以及说话人脸部朝向检测。车辆是一个密闭空间,多人同时说话时需要能够判断响应谁的指令。
● 座舱智能视觉交互:人脸属性、人形检测、手势、视线动态、坐标检测、疲劳驾驶、拨打电话检测等。比如可以自动提取眼睛朝向,通过眼球控制游戏,比如儿童模式可以帮助车主在行驶过程进行儿童看护或与儿童互动,车主得以专心驾驶。
● 车载数字人:包括文本/语音驱动以及主动交互两大类。
另外,我们会在商务或销售资源方面为合作伙伴提供支持,合作伙伴无需投入大量精力与资源维护搭建商务关系,无需耗费大量精力做项目的对接。阿里云与国内外车厂都有大量合作,可以帮助合作伙伴快速实现对接。
接下篇:https://developer.aliyun.com/article/1224758?groupCode=chuang