用Fay搭建了数字人

简介: 用Fay搭建了数字人

流程

大概是这么一个流程,先去配置server端,然后去配置ue端代码,再接着去android端的。一步一步来,一起学习学习。

server端

去git下载开源代码,然后按照指引一步一个脚印往下走。如下图:

我的python版本有点高,还专门做了个降级。然后就是安装依赖,不好意思,开了梯子,搞了半个小时。突然发现是开了梯子。看我之前写的文章。然后是去配置文件,配置自己需要的参数,如下图,

还有个阿里云的,如下图:

这块申请好,配对了,就可以出现如下图了。

可以看右侧的聊天;还有就是语音聊天,左边的麦克风这些配置。server端基本上就这么多了。接下来看看ue的客户端。

ue端

很多小伙伴都卡在ue的客户端这了,因为ue更新,很多库都不支持了。还好我这有之前版本的库存。哈哈哈。先看一下运行效果,如下图:

,加上一些聊天内容吧,如下图:

手机控制音频没有开。大概吧,就是这样的。抽空想想把一些内容加入到实际项目中,做点什么。

小结

还好吧,关键是流程,流程对了,有些东西就是时间的问题,这边所有内容调试完,也就不到2day吧,时间再多,也许就不合适了。OK,结束了。接下来,开启新的模块。

相关文章
|
11月前
|
自然语言处理 语音技术 开发者
开源上新|FunASR多语言离线文件转写软件包
开源上新|FunASR多语言离线文件转写软件包
|
人工智能 vr&ar 图形学
开源单图生成3D模型TripoSR的局限性分析
【2月更文挑战第25天】开源单图生成3D模型TripoSR的局限性分析
575 6
开源单图生成3D模型TripoSR的局限性分析
|
机器学习/深度学习 人工智能 自然语言处理
如何使用ChatGPT制作免费的数字人
如何使用ChatGPT制作免费的数字人
317 0
|
10月前
|
人工智能 自然语言处理 并行计算
EchoMimicV2:阿里推出的开源数字人项目,能生成完整数字人半身动画
EchoMimicV2是阿里蚂蚁集团推出的开源数字人项目,能够生成完整的数字人半身动画。该项目基于参考图片、音频剪辑和手部姿势序列,通过音频-姿势动态协调策略生成高质量动画视频,确保音频内容与半身动作的一致性。EchoMimicV2不仅支持中文和英文驱动,还简化了动画生成过程中的复杂条件,适用于虚拟主播、在线教育、娱乐和游戏等多个应用场景。
3350 5
EchoMimicV2:阿里推出的开源数字人项目,能生成完整数字人半身动画
|
2月前
|
SQL 人工智能 数据可视化
开源AI BI可视化工具-WrenAI
Wren AI 是一款开源的 SQL AI 代理,支持数据、产品及业务团队通过聊天、直观界面和与 Excel、Google Sheets 的集成获取洞察。它结合大型语言模型(LLM)与检索增强生成(RAG)技术,助力用户高效处理复杂数据分析任务。
|
10月前
|
API 语音技术 开发者
基于开源技术的数字人实时对话:形象可自定义,支持语音输入,对话首包延迟可低至3s
魔搭社区最近上线了基于开源技术的数字人实时对话demo,无需预训练即可使用自定义的数字人形象进行实时对话,支持语音输入和实时对话。
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
YuE:开源AI音乐生成模型,能够将歌词转化为完整的歌曲,支持多种语言和多种音乐风格
YuE 是香港科技大学和 M-A-P 联合开发的开源 AI 音乐生成模型,能够将歌词转化为完整的歌曲,支持多种音乐风格和多语言。
1227 23
YuE:开源AI音乐生成模型,能够将歌词转化为完整的歌曲,支持多种语言和多种音乐风格
|
8月前
|
人工智能 语音技术 iOS开发
MiniCPM-o 2.6:面壁智能开源多模态大模型,仅8B参数量就能媲美GPT-4o,支持实时交互,在ipad等终端设备上运行
MiniCPM-o 2.6 是面壁智能开源的多模态大模型,支持视觉、语音和多模态直播,性能媲美GPT-4o,能够在端侧设备上高效运行。
687 10
MiniCPM-o 2.6:面壁智能开源多模态大模型,仅8B参数量就能媲美GPT-4o,支持实时交互,在ipad等终端设备上运行
|
9月前
|
自然语言处理 搜索推荐 前端开发
语镜VocaMirror——基于sensevoice、cosyvoice和qwen模型实现与“自身声音”对话
语镜 VocaMirror 是一个创新的对话系统,灵感来源于汤姆猫游戏和亲人语音克隆项目,旨在让用户与自己的声音进行对话。系统融合了语音识别、自然语言处理及个性化语音合成技术,提供趣味互动、心理治疗辅助及多功能扩展等应用。用户可通过 Gradio 界面轻松使用,实现语音转文本、对话生成及个性化语音回复等功能。
734 4
语镜VocaMirror——基于sensevoice、cosyvoice和qwen模型实现与“自身声音”对话
|
10月前
|
机器学习/深度学习 自然语言处理 API
如何使用阿里云的语音合成服务(TTS)将文本转换为语音?本文详细介绍了从注册账号、获取密钥到编写Python代码调用TTS服务的全过程
如何使用阿里云的语音合成服务(TTS)将文本转换为语音?本文详细介绍了从注册账号、获取密钥到编写Python代码调用TTS服务的全过程。通过简单的代码示例,展示如何将文本转换为自然流畅的语音,适用于有声阅读、智能客服等场景。
3903 3

热门文章

最新文章