🙋魔搭ModelScope本期社区进展：

📟174个模型：Mistral Large 2、Llama 3.1系列，DCLM-7B等；

📁44个数据集：PyTorch 预训练 CV 骨干网络集合、网易云音乐情感数据集、NuminaMath-CoT等；

🎨70个创新应用：Meta-Llama-3.1-405B-Instruct-FP8-demo、pdf转markdown效果测评工具、EchoMimic：语音驱动照片生成视频等；

📄5篇文章：

Large Enough！Mistral Large 2开源！魔搭推理、微调最佳实战教程来啦！
Meet Llama3.1，405B赶超最强闭源模型！上魔搭社区一站体验、下载、推理、微调、部署
Llama3.1-8B模型中文版！OpenBuddy发布新一代跨语言模型
使用InternVL、LMDeploy和GTE搭建多模态RAG系统
VBench 视频生成新榜首！Data-Juicer 沙盒实验室助力多模态数据与模型协同开发

精选模型推荐

Mistral Large 2

Mistral AI发布的Mistral-Large-Instruct 123B 规模的模型，在代码生成、数学和推理方面的能力显著增强。它还提供了更强大的多语言支持、Function Calling、Retrieval等能力。

Mistral Large 2 具有 128k 上下文窗口，支持法语、德语、西班牙语、意大利语、葡萄牙语、阿拉伯语、印地语、俄语、中文、日语和韩语等数十种语言，以及 Python、Java、C、C++、JavaScript 和 Bash 等 80 多种编码语言。

模型链接：

https://modelscope.cn/models/LLM-Research/Mistral-Large-Instruct-2407?from=alizishequ__text

示例代码：

from transformers import pipeline
from modelscope import snapshot_download
model_dir=snapshot_download('LLM-Research/Mistral-Large-Instruct-2407', ignore_file_pattern=['^consolidated'])
messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]
chatbot = pipeline("text-generation", model=model_dir)
chatbot(messages)

Llama 3.1系列

Llama 3.1，包含8B、70B 和405B三个规模，最大上下文提升到了128k。Llama系列模型是目前开源领域中用户最多、性能最强的大型模型系列之一。

1.共有8B、70B及405B三种版本，其中405B版本是目前最大的开源模型之一；

2.该模型最大参数规模达到4050亿参数，在性能上超越了现有的顶级AI模型；

3.模型引入了更长的上下文窗口（最长可达128K tokens），能够处理更复杂的任务和对话；

4. 支持多语言输入和输出，增强了模型的通用性和适用范围；

5.提高了推理能力，特别是在解决复杂数学问题和即时生成内容方面表现突出。

模型链接：

Llama-3.1-8B

https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B

Llama-3.1-8B-Instruct

https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B-Instruct

Llama-3.1-8B-Instruct-GGUF

https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B-Instruct-GGUF

Llama-3.1-70B

https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-70B

Llama-3.1-70B-Instruct

https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-70B-Instruct

Llama-3.1-70B-Instruct-AWQ-INT4

https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-70B-Instruct-AWQ-INT4

Llama-3.1-405B-Instruct-FP8

https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-405B-Instruct-FP8

示例代码：

以Llama-3.1-8B-Instruct为例

import transformers
import torch
from modelscope import snapshot_download
model_id = snapshot_download("LLM-Research/Meta-Llama-3.1-8B-Instruct")
pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)
messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]
outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1]

DCLM-7B

苹果发布了一个全新的语言模型训练数据集DCLM-Baseline 和训练框架 DCLM，DCLM-Baseline-7B 是在 DCLM-Baseline 数据集上训练的 70 亿参数语言模型，该数据集是作为 DataComp for Language Models （DCLM）基准测试的一部分进行策划的。该模型旨在展示系统数据管理技术在提高语言模型性能方面的有效性。

模型链接：

https://www.modelscope.cn/models/AI-ModelScope/DCLM-7B?from=alizishequ__text

示例代码：

from open_lm.hf import *
from modelscope import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("AI-ModelScope/DCLM-7B")
model = AutoModelForCausalLM.from_pretrained("AI-ModelScope/DCLM-7B",torch_dtype=torch.float16, device_map="cuda")
inputs = tokenizer(["中国是"], return_tensors="pt").to("cuda")
gen_kwargs = {"max_new_tokens": 50, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.1}
output = model.generate(inputs['input_ids'], **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)

数据集推荐

PyTorch 预训练 CV 骨干网络集合

本仓库汇聚了 PyTorch 官方网站上所有机器视觉预训练模型的骨干网络集合。主要包括在 ImageNet1K 数据集上进行预训练的多种卷积神经网络（CNN）和 Vision Transformer 等视觉模型。整个集合被划分为 V1 和 V2 两个子集，涵盖了多个经典和先进的视觉模型版本。这些预训练骨干网络为用户提供了在图像识别、目标检测、图像分割等任务中进行迁移学习的强大基础。同时，它也为研究者和从业者在不同场景中灵活应用这些预训练模型提供了便捷的选择。

数据集链接：

https://www.modelscope.cn/datasets/monetjoe/cv_backbones?from=alizishequ__text

网易云音乐情感数据集

网易云音乐情感分类数据集包含约 395,000 条音乐情感标签数据，其中每条数据由歌曲ID、歌单ID和歌曲的情感标签三个主要列组成。这些数据的来源是网易云音乐官方网站，提供了对歌曲情感进行标记的详尽信息。歌曲 ID 唯一标识每首歌曲，而歌单 ID 表示歌曲所属歌单。情感标签为每首歌曲赋予了情感上的分类标签，使得研究者和数据科学家能够深入探讨音乐情感分析的领域。由于数据集规模较大，适用于构建情感分析模型、进行数据挖掘，并深入理解音乐与情感之间的关联。

数据集链接：

https://www.modelscope.cn/datasets/monetjoe/music163_emo?from=alizishequ__text

NuminaMath-CoT

大约 860k 个数学问题，其中每个解决方案都以思维链（CoT）方式进行格式化。数据集的来源范围从中国高中数学练习到美国和国际数学奥林匹克竞赛问题。数据主要来自在线试卷PDF和数学论坛。处理步骤包括（a）原始 PDF 的 OCR，（b）分割成问题-解决方案对，（c）翻译成英文，（d）重新对齐以生成 CoT 推理格式，以及（e）最终答案格式。

数据集链接：

https://www.modelscope.cn/datasets/AI-ModelScope/NuminaMath-CoT?from=alizishequ__text