❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

多语言支持：能理解和生成39种不同语言的文本。
多模态理解：除文本外，能处理和理解图像。
跨文化覆盖：在训练中包含与文化相关的多模态任务。

正文（附运行示例）

Pangea 是什么

Pangea是由卡内基梅隆大学团队推出的多语言多模态大型语言模型（LLM），旨在提升全球语言和文化多样性的覆盖。模型包含600万条指令的多样化数据集，支持39种语言，包含高质量英文指令、机器翻译指令及文化相关任务。

Pangea基于包含14个数据集、覆盖47种语言的PangeaABench评估套件进行性能评估。Pangea在多语言和文化背景下的性能超越现有开源模型（如Llava-1.5-7B、Llava-Next-7B）。研究发现英语数据比例、语言流行度和多模态训练样本数量对性能有显著影响。

Pangea 的主要功能

• 多语言支持：能理解和生成39种不同语言的文本，在多语言交流和处理中非常有用。
• 多模态理解：除文本外，能处理和理解图像，在图像描述、视觉问答等任务中表现出色。
• 跨文化覆盖：在训练中包含与文化相关的多模态任务，有助于模型更好地理解和适应不同文化背景。
• 高质量指令遵循：Pangea在训练中使用高质量的英文指令，及经过精心机器翻译的指令，确保模型在不同语言中的准确性和一致性。

Pangea 的技术原理

• 数据集构建：基于Pangea数据集，一个包含600万条指令的多语言数据集，覆盖39种语言。
• 机器翻译：为解决多语言数据的稀缺问题，用机器翻译技术将高质量英文指令翻译成其他语言。
• 文化相关任务：在训练中包含与文化相关的多模态任务，提高模型对文化差异的理解和适应性。
• 评估套件：PangeaABench是包含14个数据集、覆盖47种语言的评估套件，用在全面评估模型在多语言和多模态任务中的表现。
• 模型架构：基于LLaVA-Next架构，用Qwen2-7B-Instruct作为语言模型的骨干，为模型提供强大的语言理解和生成能力。

如何运行 Pangea

设置环境

1. 克隆仓库：使用Git克隆仓库到本地环境。

   git clone https://github.com/neulab/Pangea.git
   

2. 安装依赖：确保安装了所需的依赖。

   cd Pangea/train/LLaVA-NeXT
   pip install -e ".[train]"
   

运行示例

在安装了所需包后，可以运行示例Python代码来使用Pangea-7B。

cd Pangea/predict
python predict_all.py # 可以评估多模态输入和纯文本输入
python predict_multimodal.py # 可以评估多模态输入
python predict_text_only.py # 可以评估纯文本输入

资源

• 项目官网：https://neulab.github.io/Pangea/
• GitHub 仓库：https://github.com/neulab/Pangea
• HuggingFace 模型库：https://huggingface.co/collections/neulab/pangea-6713c3b0d78a453906eb2ed8
• arXiv 技术论文：https://arxiv.org/pdf/2410.16153
• 在线体验Demo：https://huggingface.co/spaces/neulab/Pangea

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦