❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 功能：Emotion-LLaMA 支持多模态情绪识别与推理，能够处理音频、视觉和文本输入。
2. 技术：基于修改版 LLaMA 模型，通过特定情绪编码器整合多模态信息，提升情感识别能力。
3. 应用：广泛应用于人机交互、教育、心理健康、客户服务和社交媒体分析等领域。

正文（附运行示例）

Emotion-LLaMA 是什么

Emotion-LLaMA 是一款多模态情绪识别与推理模型，融合了音频、视觉和文本输入，通过特定情绪编码器整合信息。模型基于修改版 LLaMA，经过指令调整以提升情感识别能力。研究者构建了 MERR 数据集，助力模型训练与评估，使其能够从多场景中学习并应用于现实世界。

Emotion-LLaMA 在多个数据集和挑战赛中表现优异，如在 MER2024 挑战赛 MER-NOISE 赛道中以 84.52% 的 WAF 超越其他团队。其架构设计巧妙，充分发挥 LLaMA 的优势，纳入关键情感线索。

Emotion-LLaMA 的主要功能

• 多模态情绪识别：通过情绪特定的编码器无缝集成音频、视觉和文本输入，更准确地识别复杂的情绪表达。
• 情绪推理：在提供多模态输入（如视频片段伴随音频和文本）时，生成自然语言解释，分析数据中的面部表情、声音线索和语言内容。
• 数据集构建与训练支持：构建了 MERR 数据集，包含 28618 个粗粒度和 4487 个细粒度注释样本，覆盖多种情绪类别。
• 性能表现优异：在多个数据集和挑战赛中表现出色，如在 EMER 数据集上线索重叠和标签重叠得分最高。

Emotion-LLaMA 的技术原理

• 多模态输入融合：通过特定于情绪的编码器，Emotion-LLaMA 能够无缝集成音频、视觉和文本输入。
• 特征对齐与指令调整：模型将来自不同模态的特征对齐到共享空间，采用经过指令调整的修改版 LLaMA 模型。
• 数据集构建：为了支持模型训练和评估，研究者构建了 MERR 数据集，包含 28618 个粗粒度和 4487 个细粒度注释样本。
• 基于 Transformer 架构：Emotion-LLaMA 的核心架构基于 Transformer，利用自回归生成机制、多头自注意力机制等技术实现高效的自然语言生成和情绪推理。

如何运行 Emotion-LLaMA

1. 准备代码和环境

git clone https://github.com/ZebangCheng/Emotion-LLaMA.git
cd Emotion-LLaMA
conda env create -f environment.yaml
conda activate llama

2. 下载预训练模型

从 Huggingface 下载 Llama-2-7b-chat-hf 模型，并保存到 Emotion-LLaMA/checkpoints/ 目录下。

3. 配置模型路径

在 minigpt4/configs/models/minigpt_v2.yaml 文件中指定 Llama-2 模型的路径：

llama_model: "/home/user/project/Emotion-LLaMA/checkpoints/Llama-2-7b-chat-hf"

4. 运行本地 Demo

python app.py

运行后，点击生成的链接即可体验本地 Demo。

资源

• GitHub 仓库：https://github.com/ZebangCheng/Emotion-LLaMA
• HuggingFace 仓库：https://huggingface.co/spaces/ZebangCheng/Emotion-LLaMA
• arXiv 技术论文：https://arxiv.org/pdf/2406.11161

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦