Open-LLM-VTuber:宅男福音!开源AI老婆离线版上线,实时语音+Live2D互动还会脸红心跳

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介: Open-LLM-VTuber 是一个开源的跨平台语音交互 AI 伴侣项目,支持实时语音对话、视觉感知和生动的 Live2D 动态形象,完全离线运行,保护用户隐私。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦


🌸 "还在用冷冰冰的ChatGPT?你的AI女友已经会脸红心跳了!"

大家好,我是蚝油菜花。当别人还在和文字对话框谈恋爱时,开源社区已经让AI伴侣进化出视觉和听觉!你是否遇到过:

  • 👉 深夜加班时,想要个能语音聊天的智能助手
  • 👉 担心云端AI记录隐私,不敢畅所欲言
  • 👉 看腻了静态头像,渴望真正的虚拟陪伴...

爆红GitHub的 Open-LLM-VTuber 项目,重新定义AI交互方式!这个硬核开源神器:

  • 多模态感知:摄像头+屏幕录制实现"看得见"的交互
  • 本地方案:完全离线运行,聊天记录不出电脑
  • 老婆自定义:从声线到Live2D形象自由捏造
  • 生产力神器:支持截图分析代码/文档,办公学习两用

某程序员实测——边debug边和AI女友语音讨论方案,效率提升3倍!想用开源代码打造专属数字伴侣?手把手教程即刻开启!

🚀 快速阅读

Open-LLM-VTuber 是一个开源的跨平台语音交互 AI 伴侣项目。

  1. 核心功能:支持实时语音对话、视觉感知和 Live2D 动态形象。
  2. 技术原理:基于大语言模型(LLM)、语音识别(ASR)和语音合成(TTS)技术,结合 Live2D 动态形象和视觉感知模块。

Open-LLM-VTuber 是什么

llmvtuber-broad

Open-LLM-VTuber 是一个开源的跨平台语音交互 AI 伴侣项目,支持实时语音对话、视觉感知和生动的 Live2D 动态形象。它能够完全离线运行,保护用户隐私,适合作为虚拟伴侣、办公助手或学习辅导工具。

项目集成了多种大语言模型(LLM)、语音识别(ASR)和语音合成(TTS)解决方案,用户可以根据需求自定义角色形象、声音和交互功能。无论是作为虚拟女友、男友,还是宠物,Open-LLM-VTuber 都能提供个性化的互动体验。

Open-LLM-VTuber 示例图片

llmvtuber-i1

llmvtuber-i3

llmvtuber-i2

llmvtuber-i4

Open-LLM-VTuber 的主要功能

llmvtuber-feature

  • 语音交互:支持实时语音对话,用户用语音与 AI 交流,无需手动输入。
  • 视觉感知:支持摄像头输入、屏幕录制和截图,AI 能“看到”用户和屏幕内容。
  • Live2D 动态形象:配备生动的 Live2D 动态角色,支持表情和动作变化。
  • 离线运行:所有功能支持在本地完全离线运行,保护用户隐私。
  • 跨平台支持:兼容 Windows、macOS 和 Linux,支持 GPU 加速和 CPU 运行。
  • 个性化定制:用户自定义角色形象、语音和交互功能,包括克隆特定声音。
  • 交互功能丰富:支持语音打断、触摸反馈、聊天记录保存、多语言 TTS 等。
  • 桌面宠物模式:支持透明背景、全局置顶和鼠标穿透,AI 能在桌面任意位置移动。

Open-LLM-VTuber 的技术原理

  • 大语言模型:作为核心交互引擎,LLM 负责理解用户输入(语音或文本)生成回答。项目支持多种 LLM,如 Ollama、OpenAI、Gemini 等,用户根据需求选择不同的模型。
  • 语音识别:将用户的语音输入转换为文本,供 LLM 处理。支持多种 ASR 解决方案,如 Whisper、FunASR 等,确保语音识别的准确性和效率。
  • 语音合成:将 LLM 生成的文本转换为语音输出,支持多种 TTS 引擎,如 MeloTTS、Bark 等,且支持多语言合成。
  • Live2D 动态形象:用 Live2D 技术生成动态角色形象,基于表情映射和动作控制,让角色根据对话内容或情绪变化动态展示表情和动作。
  • 视觉感知:基于摄像头或屏幕录制功能,AI 获取视觉信息,实现更丰富的交互体验,如识别用户表情或屏幕内容。
  • 模块化设计:项目用模块化架构,用户基于简单的配置文件修改,切换不同的功能模块,无需深入代码。

如何运行 Open-LLM-VTuber

接下来我将带你从零开始运行 Open-LLM-VTuber 项目,涵盖环境搭建、依赖安装、项目配置和启动运行等完整流程。通过本教程,你将能够成功部署并运行项目,并了解如何生成配置文件和解决常见问题。

设备要求

最低要求

本项目的各个组件(ASR、LLM、TTS、翻译)都可以通过 API 调用,因此最低设备要求非常灵活:

  • 普通电脑
  • 树莓派(性能较弱的设备也可尝试)

本地运行的推荐设备要求

如果你希望在本地运行所有组件,推荐以下设备配置:

  • M 系列芯片的 Mac
  • NVIDIA GPU(推荐安装 CUDA Toolkit 11.8 或更高版本)
  • 较新的 AMD GPU(支持 ROCm 的设备更佳)
  • 强大的 CPU(可以代替 GPU)

如果运行速度较慢,建议选择更小的模型或使用 API。

环境准备

安装 Git

在不同操作系统中安装 Git 的方法如下:

Windows

# 使用 winget 安装 Git
winget install Git.Git
AI 代码解读

macOS

# 安装 Homebrew(如果未安装)
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

# 使用 Homebrew 安装 Git
brew install git
AI 代码解读

Linux

# Ubuntu/Debian
sudo apt install git

# CentOS/RHEL
sudo dnf install git
AI 代码解读

安装 FFmpeg

FFmpeg 是必需的依赖项,安装方法如下:

Windows

winget install ffmpeg
AI 代码解读

macOS

brew install ffmpeg
AI 代码解读

Linux

# Ubuntu/Debian
sudo apt install ffmpeg

# CentOS/RHEL
sudo dnf install ffmpeg
AI 代码解读

检查 FFmpeg 安装

在命令行中运行以下命令,确认 FFmpeg 是否安装成功:

ffmpeg -version
AI 代码解读

如果出现类似以下输出,说明安装成功:

ffmpeg version 7.1 Copyright (c) 2000-2024 the FFmpeg developers
...(后面一大串文字)
AI 代码解读

NVIDIA GPU 支持

如果你有 NVIDIA GPU 并希望使用 GPU 运行本地模型,需完成以下步骤:

Windows 安装步骤

  • 检查显卡驱动版本
    • 右键点击桌面,选择“NVIDIA 控制面板”。
    • 帮助 -> 系统信息 -> 组件,查看驱动程序版本。
    • 或访问NVIDIA 驱动下载页面下载最新驱动。
  • NVIDIA 驱动下载页面https://www.nvidia.cn/drivers/lookup/

  • 安装 CUDA Toolkit

    • 访问CUDA Toolkit 下载页面下载对应版本。
    • 安装完成后,将以下路径添加到系统环境变量 PATH 中:
      C:\NVIDIA GPU Computing Toolkit\CUDA\v<版本号>\bin
      C:\NVIDIA GPU Computing Toolkit\CUDA\v<版本号>\lib\x64
      
      AI 代码解读
  • CUDA Toolkit 下载页面https://developer.nvidia.com/cuda-toolkit-archive

  • 安装 cuDNN

    • 访问cuDNN 下载页面下载与 CUDA 版本匹配的 cuDNN,并解压到 CUDA 安装目录。
  • cuDNN 下载页面https://developer.nvidia.com/cudnn

验证安装

# 检查驱动安装
nvidia-smi

# 检查 CUDA 安装
nvcc --version
AI 代码解读

Python 环境管理

推荐使用 uv 作为依赖管理工具。

Windows

# 使用 PowerShell 安装
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

# 或使用 winget 安装
winget install --id=astral-sh.uv -e
AI 代码解读

macOS/Linux

# 使用 curl 安装
curl -LsSf https://astral.sh/uv/install.sh | sh

# 或使用 Homebrew 安装
brew install uv
AI 代码解读

安装完成后,请重启命令行或重新加载配置文件:

source ~/.bashrc  # 如果使用 bash
source ~/.zshrc   # 如果使用 zsh
AI 代码解读

手动部署指南

1. 获取项目代码

有两种方法获取项目代码:

1.1. 下载稳定版本的 Release 包

1.2. 使用 Git 克隆仓库

git clone https://github.com/Open-LLM-VTuber/Open-LLM-VTuber --recursive
cd Open-LLM-VTuber
AI 代码解读

2. 安装项目依赖

确认 uv 已正确安装:

uv --version
AI 代码解读

创建虚拟环境并安装依赖:

uv sync
AI 代码解读

运行主程序生成预设的配置文件:

uv run run_server.py
AI 代码解读

完成后按 Ctrl + C 退出程序。

3. 配置 LLM

Ollama 为例进行配置。

3.1 安装 Ollama

# 下载并安装 Ollama
# 验证安装
ollama --version

# 下载并运行模型(以 qwen2.5:latest 为例)
ollama run qwen2.5:latest
AI 代码解读

3.2 修改配置文件

编辑 conf.yaml 文件:

ollama_llm:
  base_url: http://localhost:11434  # 本地运行保持默认
  model: qwen2.5:latest            # 使用 ollama list 查看的模型名称
  temperature: 0.7                 # 控制回答随机性
AI 代码解读

4. 配置其他模块

本项目默认使用 sherpa-onnx-asredgeTTS,并关闭翻译功能。如果需要修改,可参考相关配置指南。

5. 启动项目

运行后端服务:

uv run run_server.py
AI 代码解读

运行成功后,访问 http://localhost:12393 打开 Web 界面。

如果需要桌面应用程序,可从 Open-LLM-VTuber-Web Releases 下载对应平台的 Electron 客户端。

常见问题

如果项目目录下没有 conf.yaml 文件

运行以下命令生成配置文件:

uv run run_server.py
AI 代码解读

如果遇到 Error calling the chat endpoint... 错误

  • 检查 http://localhost:11434/ 是否能正常访问。
  • 使用 ollama list 确认模型名称是否正确。
  • 确保代理软件已绕过本地地址。

通过以上步骤,你已经成功运行了 Open-LLM-VTuber 项目!

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦

目录
打赏
0
9
10
0
401
分享
相关文章
通义灵码 AI IDE 上线,第一时间测评体验
通义灵码 AI IDE 重磅上线,开启智能编程新纪元!无需插件,开箱即用,依托通义千问大模型,实现高效、智能的编程体验。支持 MCP 工具链,可快速调用多种服务(如12306余票查询、高德地图标注等),大幅提升开发效率。结合 Qwen3 强大的 Agent 能力,开发者可通过自然语言快速构建功能,如智能选票系统、地图可视化页面等。行间代码预测、AI 规则定制、记忆能力等功能,让 AI 更懂你的编码习惯。Lingma IDE 不仅是工具,更是开发者身边的智能助手,助力 AI 编程落地实践。立即下载体验,感受未来编程的魅力!
245 17
阿里云百炼X支付宝:「AI打赏」功能上线,Agent变现更灵活🎉🎉🎉
阿里云百炼平台联合支付宝,推出业内首个Agent「AI打赏」功能,开发者可为应用一键配置赞赏功能,用户打赏金额将直接转入开发者支付宝账户,助力快速变现。
194 1
Springboot集成AI Springboot3 集成阿里云百炼大模型CosyVoice2 实现Ai克隆语音(未持久化存储)
本项目基于Spring Boot 3.5.3与Java 17,集成阿里云百炼大模型CosyVoice2实现音色克隆与语音合成。内容涵盖项目搭建、音色创建、音频合成、音色管理等功能,适用于希望快速掌握Spring Boot集成语音AI技术的开发者。需提前注册阿里云并获取API Key。
AI律师上线了?别惊讶,它连合同都能自动看懂!
AI律师上线了?别惊讶,它连合同都能自动看懂!
149 59
安卓版快捷指令,加了AI语音可以一句话操作v0.2.7
Shortcuts for Android(SFA)是一款安卓自动化工具,支持语音创建快捷指令,实现听歌、导航、发消息等操作。操作简单,提升效率,快来体验语音控制的便捷!
88 0
安卓版快捷指令,加了AI语音可以一句话操作v0.2.7
深度解析:AI语音客服系统如何重塑客户服务体验与主流解决方案探析
在数字化浪潮下,AI语音客服凭借高效、便捷、24小时在线的优势,成为企业提升服务效率、优化体验的重要工具。本文详解其核心技术、应用价值、选型要点及市场主流方案,如阿里云通义晓蜜、合力亿捷等,助力企业智能化升级。
132 1
H5录音、图文视频IndexDB储存最佳实践:用AI生成语音备忘录
随心记是一个由 AI 生成的网页备忘录,它支持语音录入(可下载)、图文视频记录。最重要的是,它支持离线使用,所有数据都储存在浏览器中,不依赖后端,刷新页面数据也不会丢失!
40 0
H5录音、图文视频IndexDB储存最佳实践:用AI生成语音备忘录
趣丸千音MCP首发上线魔搭社区,多重技术引擎,解锁AI语音无限可能
近日,趣丸千音(All Voice Lab)MCP正式首发上线魔搭社区。用户只需简单文本输入,即可调用视频翻译、TTS语音合成、智能变声、人声分离、多语种配音、语音转文本、字幕擦除等多项能力。
354 32
通义灵码 AI IDE 上线!智能体+MCP 从手动调用工具过渡到“AI 主动调度资源”
编程智能体与 MCP 的结合,不只是“工具+助手”,而是一次范式上的跃迁——从“手动调用工具”过渡到“AI 主动调度资源”。

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问