慧鲤携手联发科技亮相MWC,端侧LoRA融合技术助力手机大模型技能扩充

简介: 慧鲤携手联发科技亮相MWC,端侧LoRA融合技术助力手机大模型技能扩充

近日,在2024世界移动通信大会(MWC 2024)期间,慧鲤科技与联发科技再次联袂推出生成式AI在端侧的创新应用。基于联发科技天玑 9300 集成的新一代 AI 处理器和慧鲤科技LoRA 融合的技术整合,用户在端侧设备上录制影像时,可以实时生成不同动画风格的视频。这也是业内首个基于LoRA融合技术在端侧实时生成视频的应用,为端侧生成式AI落地进一步刷新了应用边界。

999_看图王(1)(1)(1)(1).jpg

端侧处理,秒速生成,慧鲤LoRA融合技术实时生成趣味视频

作为联发科技在生成式AI技术领域的重要合作伙伴,慧鲤科技结合联发科技生成式AI模型端侧“技能扩充”技术NeuroPilot Fusion,在基础模型上持续扩展AI应用和功能,并于移动终端装置成功实现多种风格化视频的实时生成能力,开辟出一系列手机AI应用新玩法。

在风格化基础模型以及风格LoRA模型训练过程中,慧鲤通过一致性蒸馏算法大幅减少了扩散模型的运行步数,并依托联发科技NeuroPilot框架,以无分类器指导蒸馏进一步降低扩散模型的单步耗时。在保证输出质量的同时,慧鲤实现了手机端接近1帧/s在线风格化生成效果,使生成体验更加自然流畅。

在现场体验中,用户可以通过该功能在手机拍摄过程中精准识别人物影像,并转化为各种风格的趣味视频。除此之外,模型还可以将画面中的背景、人物手持的物品等,稳定细致地转化为与画风调性相契合的背景和道具,让整体视频效果更自然协调。例如,用户手持圆盘形物品拍摄视频时,在油画风格的视频中,圆盘被识别并再创作为调色盘,而在赛博朋克风格中,圆盘则被定义并展示为一个盾牌。

555.jpg

以往在手机端的应用中,由于LoRA和基础模型绑定,切换不同艺术风格的LoRA时需要替换整个模型才能实现驱动,在实际视频拍摄中难以实时切换及加载。当应用中包含多种风格LoRA时,则需要占用大量内存,导致安装包对内存的要求为GB级别。现在,慧鲤结合NeuroPilot框架的lora fusion功能,将自主训练的多种艺术风格LoRA模型尺寸压缩至10MB级别,不同LoRA配合单个基础大模型使用,可以让用户在极短时间内随意切换,运行处理速度更加快捷,充分满足端侧AI用户的个性化体验需求。

激活生成式AI创作热度,抢滩AI自媒体时代

近年来,生成式AI在内容创作赛道的持续火热,内容创作者和消费者都在迫切呼唤更新颖、更前沿的应用体验。慧鲤端侧LoRA融合的应用成果,在“人人都是自媒体”的时代开启了更具想象力的创作空间。

在抖音、小红书等内容社交平台中,此前的手机拍摄创作玩法,主要以美颜滤镜、添加挂件等为主。端侧LoRA 融合带来的视频生成新玩法,为用户的内容灵感、拍摄风格提供了更多新选项,并极大提升创作效率。基于实时视频生成功能,用户在实时拍摄中可自由选择赛博朋克、水彩、油画、水墨、卡通等多种画风,拍摄结束后视频即时生成,元素丰富、高质高效,体验感极佳。

另外,在文旅等落地场景中,手机拍摄实时生成视频的应用前景更为广泛。创作者打卡过程中,仅需实地录制一个画面,即可通过该功能选项创作不同风格作品,任意穿越各种画风的异次元世界,为用户带来更多充满创意的沉浸式体验。

伴随着端侧生成式AI的发展,移动端AI赛道潜力正在充分显现。LoRA融合等技术的应用升级,将进一步挖掘AI在手机等端侧设备的应用潜力,并赋能各领域赛道选手加速入场,开拓更大的参与空间。作为大模型时代的探索家和建设者,慧鲤科技将继续加码技术赋能,为伙伴和用户带来更多前沿AI应用体验。



https://www.xinpin1688.com/article-19312-1.html

http://www.cnaifm.com/rgzn/3ddy/2024-03-07/12312.html

http://www.xzicn.com/

相关文章
|
12天前
|
Android开发 芯片
ESP8266-mini-d1+点灯科技——制作手机远程MP3播放器
ESP8266-mini-d1+点灯科技——制作手机远程MP3播放器
87 0
ESP8266-mini-d1+点灯科技——制作手机远程MP3播放器
|
10天前
|
数据采集 人工智能 自然语言处理
手机可跑,3.8B参数量超越GPT-3.5!微软发布Phi-3技术报告:秘密武器是洗干净数据
【5月更文挑战第16天】微软发布 Phi-3 技术报告,介绍了一个拥有3.8B参数的新语言模型,超越GPT-3.5,成为最大模型之一。 Phi-3 在手机上运行的特性开启了大型模型移动应用新纪元。报告强调数据清洗是关键,通过优化设计实现高效运行。实验显示 Phi-3 在多项NLP任务中表现出色,但泛化能力和数据隐私仍是挑战。该模型预示着AI领域的未来突破。[[论文链接](https://arxiv.org/pdf/2404.14219.pdf)]
21 2
|
12天前
|
机器学习/深度学习 数据采集 数据可视化
R语言SVM模型文本挖掘分类研究手机评论数据词云可视化
R语言SVM模型文本挖掘分类研究手机评论数据词云可视化
|
12天前
|
存储 iOS开发 流计算
R语言使用Bass模型进行手机市场产品周期预测
R语言使用Bass模型进行手机市场产品周期预测
|
12天前
|
机器学习/深度学习 自然语言处理 搜索推荐
手机上0.2秒出图、当前速度之最,谷歌打造超快扩散模型MobileDiffusion
【2月更文挑战第17天】手机上0.2秒出图、当前速度之最,谷歌打造超快扩散模型MobileDiffusion
32 2
手机上0.2秒出图、当前速度之最,谷歌打造超快扩散模型MobileDiffusion
|
12天前
|
前端开发 JavaScript Android开发
【web前端技术】判断是否是手机端
【web前端技术】判断是否是手机端
59 0
|
9月前
训练自己的图像分类模型部署在手机设备
训练自己的图像分类模型部署在手机设备
|
9月前
|
SQL 安全 前端开发
保护隐私安全,springboot手机号脱敏技术助你无忧通信
尊重用户隐私一直是我们在开发应用程序时应重视的问题。在当今移动互联网时代,手机号码作为个人重要信息之一,泄露可能导致隐私侵犯和骚扰问题。为了保护用户的手机号安全,我们可以借助Spring Boot框架提供的强大功能,实现手机号脱敏的有效保护,让通信更加安心无忧。
158 0
保护隐私安全,springboot手机号脱敏技术助你无忧通信
|
12天前
|
监控 安全 Android开发
【新手必读】Airtest测试Android手机常见的设置问题
【新手必读】Airtest测试Android手机常见的设置问题
100 0
|
12天前
|
XML Java Android开发
Android Studio开发之使用内容组件Content获取通讯信息讲解及实战(附源码 包括添加手机联系人和发短信)
Android Studio开发之使用内容组件Content获取通讯信息讲解及实战(附源码 包括添加手机联系人和发短信)
140 0

热门文章

最新文章