社区供稿 | 新版本源2.0大模型发布：Yuan2-2B-July-hf

2024-08-20 42

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 近日，浪潮信息的新一代基础语言大模型源2.0 迎来了重要更新。

引言

近日，浪潮信息的新一代基础语言大模型源2.0 迎来了重要更新。浪潮信息正式发布了 Yuan2-2B-July-hf 模型，标志着源2.0系列模型在性能和功能上的进一步提升。这一版本将为开发者和研究人员提供更强大的工具，以满足各种语言处理需求。

模型介绍

模型名称：

Yuan2-2B-July-hf

发布时间：

2024 年 8 月

源2.0 是浪潮信息发布的全新一代基础语言大模型系列，包含源2.0-102B、源2.0-51B 和源2.0-2B。基于源1.0，源2.0 利用更多样的高质量预训练数据和指令微调数据集，显著提升了模型在语义理解、数学推理、代码生成和知识获取等方面的能力。我们提供了全套预训练、微调和推理服务的脚本，支持研发人员进行深度开发。

开源信息

源2.0系列模型的完整源码和文档已经开源

模型地址：

https://modelscope.cn/models/IEITYuan/Yuan2-2B-July-hf

更新内容

1.英文生成与推理能力的显著提升

在 HumanEval 测试集上的准确率提高至 62.8%，代码生成的准确性显著增强。
在 GSM8K 数学推理任务中的准确率达到 68%，解决复杂数学问题的能力得到提高。
在 MATH数学竞赛中的准确率为 31.2%，在数学推理方面的表现有所提升。

2.编程语言支持的广泛扩展

新增了对 C、JavaScript、SQL、Shell 等多种编程语言的支持，强化了代码生成能力。
强化了添加代码注释、生成单元测试等代码任务能力，提高了代码质量和维护性。

3.任务能力的全方位增强

指令跟随：提升了对复杂指令的理解和执行能力。
文档翻译：改进了多语言翻译的准确性，支持更多语言。
文档总结：增强了长文本总结的能力，提供更为简洁和准确的摘要。
检索增强生成（RAG）：在检索和生成任务中表现更加优异。

4.支持更长的序列长度

新版本模型支持 16384个token的序列长度，能够处理更长的文本输入，提高了长篇文档处理的能力，确保生成结果的连贯性和一致性。

使用指南

Yuan2-2B-July-hf模型具备强大的文本生成和代码任务能力，在云实例或本地部署上均可高效运行，只需满足基本的硬件要求。推荐的运行环境为阿里云的PAI-DSW，该平台能够提供稳定且高效的计算资源，确保在多种任务中的最佳表现。

1.运行环境

在开始使用模型之前，请确保您的环境符合以下要求：

推荐运行环境: 阿里云PAI-DSW
最低GPU显存：

推理：6GB
微调：80GB

2.安装所需库

使用以下命令安装所需的Python库：

pip install transformers==4.30.2 torch modelscope

3. 下载和加载模型

Yuan2-2B-July-hf模型支持通过多个平台进行下载，包括魔搭、HuggingFace、OpenXlab、百度网盘、WiseModel等。示例代码使用ModelScope库下载并加载模型：

# 导入所需的库
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 源大模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('IEITYuan/Yuan2-2B-July-hf', cache_dir='./')

# 定义模型路径
path = './IEITYuan/Yuan2-2B-July-hf'

# 定义模型数据类型
torch_dtype = torch.float16 # P100

# 获取模型和tokenizer
print("Creat tokenizer...")
tokenizer = AutoTokenizer.from_pretrained(path, add_eos_token=False, add_bos_token=False, eos_token='<eod>')
tokenizer.add_tokens(['<sep>', '<pad>', '<mask>', '<predict>', '<FIM_SUFFIX>', '<FIM_PREFIX>', '<FIM_MIDDLE>','<commit_before>','<commit_msg>','<commit_after>',
'<jupyter_start>','<jupyter_text>','<jupyter_code>','<jupyter_output>','<empty_output>'], special_tokens=True)
print("Creat model...")
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch_dtype, trust_remote_code=True).cuda()
print("Done.")

4. 文本生成测试

使用以下代码进行文本生成测试：

# 输入和生成
prompt = "请问目前最先进的机器学习算法有哪些？"
inputs = tokenizer(prompt, return_tensors="pt")["input_ids"].to("cuda:0")
outputs = model.generate(inputs, do_sample=False, max_length=1024)
# 如果有长文本输出， 参数加上'repetition_penalty=1.2'设置重复性惩罚
# outputs = model.generate(inputs, do_sample=False, max_length=1024, repetition_penalty=1.2)
output = tokenizer.decode(outputs[0])
clean_output = output.replace("<sep>", "\n\n").replace("<eod>", "")
print(clean_output)