1月21日，傅盛在猎户星空大模型发布会上宣布，“为企业应用而生” 的开源百亿参数猎户星空大模型正式发布。猎户星空大模型（Orion-14B）是由猎户星空研发的预训练多语言大语言模型，以其140亿参数规模展现出了卓越的性能。
模型性能评测
Orion-14B模型在一个庞大且多样化的数据集上进行训练，数据集规模达到了2.5万亿token。这一规模不仅覆盖了常见语言，还涵盖了专业术语和特定领域知识，确保模型能够理解和生成多种语境下的文本。
百亿参数大模型基座能力行业领先。Orion-14B在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方测试集上，均为同级别模型SOTA。
基于第三方机构OpenCompass独立评测结果
140亿参数，以小博大。第三方OpenCompass综合测评总分中，700亿以下参数基座模型中文数据集排名第一。
实现长文本中「大海捞针」。最长可支持 320K token 超长文本，一次性读入一本小说。在三十万文字中任意位置随机隐藏关键信息，对模型进行提问，结果全部正确。
量化性能几乎无损。通过AWQ Q4量化技术，模型大小减少70%，推理速度提升30%，性能几乎无损(损失小于1%)，可在千元级显卡可以流畅运行。在NVIDIA RTX 3060显卡实测，推理速度可达31 token/s (约每秒50汉字)
多语言能力强。超越了市面上许多更大参数的模型，尤其日语和韩语能力表现优秀，评测全球第一。
日文为JNLI等8项评测集平均得分；韩文为COPA等4项评测集平均得分；中文英文为OpenCompass对应语言评测集平均得分
模型应用
独家推出微调模型全家桶
为了更好地满足企业的应用需求，猎户星空独家推出了微调全家桶。在专业应用场景层面，Orion-14B也表现出了显著的可塑性和广泛的应用潜力，可以与千亿级模型媲美。
具体来说，猎户星空大模型涵盖了七大应用微调方向：
通用对话微调、插件微调、RAG微调、长Token微调、知识抽取微调、问答对生成微调、日韩文微调。
其中，基础对话能力微调模型（Orion-14B-Chat）专注于提升对话能力，尤其在理解历史消息和角色扮演方面显示出更高的准确性。
这一版本能够捕捉对话上下文中的细微变化，并根据不同角色和场景做出相应的反应，从而提供更加自然、连贯的对话体验。
除此之外，猎户星空还在两个大模型应用的主流方向上深入打磨——检索增强生成（RAG）和Agent。
两大重点：RAG和Agent
针对不同的应用需求，进一步扩展了猎户星空大模型（Orion-14B）的功能和实用性，着重打磨的两个方向，检索增强生成（RAG）和Agent。
所有基于大模型搭建好的应用，想要获取实时数据，都需要建立在检索增强生成（RAG）技术之上，RAG能力微调模型 （Orion-14B-RAG）使企业能够快速整合自身知识库，构建定制化的应用。猎户星空通过针对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力进行专项微调，使之成为最适合开发RAG应用的底座模型。
通过对比，可以看到猎户星空大模型RAG套件与普通RAG套件在专业领域的区别。
除了RAG，大模型应用可能拓宽的另一条重要路径，便是Agent。插件能力微调模型（Orion-14B-Plugin）的关键在于增强模型根据用户问题调用最适配工具的能力，并将插件的结果与模型的处理相结合，以解决更复杂的问题。通过针对意图识别、函数调用、缺槽反问、单轮抽参、多轮抽参、ReAct等能力进行专项微调，使之成为最适合构建Agent应用的底座模型。
重磅预告：MoE已经在训了！
目前，猎户星空已经在已有模型的基础上，调试和训练MoE架构的专家混合模型了。
据称，在这「N个臭皮匠」的加持下，智能水平可以全方位媲美千亿参数模型。
模型体验
Orion-14B已经全面开源，并且可以直接在线上体验。
GitHub：
https://github.com/OrionStarAI/Orion
ModelScope：
https://modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summary
Hugging Face：
https://huggingface.co/OrionStarAI
技术报告：https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf
围绕企业应用的核心场景，Orion-14B 在基础能力、文档问答、插件工具调用、QA对生成、数据抽取方面均展示了不俗的效果：
基础能力-代码能力：
文档问答：
插件工具调用能力：
QA对生成：
信息数据抽取：
魔搭社区推理&微调最佳实践
环境配置与安装
- python 3.8及以上版本
- pytorch 1.12及以上版本，推荐2.0及以上版本
- 建议使用CUDA 11.4及以上
使用步骤
本文主要演示的模型为 Orion-14B-Chat 模型.
模型推理
Orion-14B-Chat模型链接:
https://modelscope.cn/models/OrionStarAI/Orion-14B-Chat/summary
推理代码
import torch from modelscope import AutoModelForCausalLM, AutoTokenizer from modelscope import GenerationConfig tokenizer = AutoTokenizer.from_pretrained("OrionStarAI/Orion-14B-Chat", use_fast=False, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("OrionStarAI/Orion-14B-Chat", device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True) model.generation_config = GenerationConfig.from_pretrained("OrionStarAI/Orion-14B-Chat") messages = [{"role": "user", "content": "你好! 你叫什么名字!"}] response = model.chat(tokenizer, messages) print(response)
Orion-14B-Chat微调和微调后推理
环境准备:
我们使用swift来对模型进行微调
git clone https://github.com/modelscope/swift.git cd swift pip install .[llm]
微调脚本: lora_ddp
# https://github.com/modelscope/swift/tree/main/examples/pytorch/llm/scripts/orion_14b_chat # Experimental environment: 4 * A100 # 4 * 45GB GPU memory nproc_per_node=4 CUDA_VISIBLE_DEVICES=0,1,2,3 \ NPROC_PER_NODE=$nproc_per_node \ MASTER_PORT=29500 \ swift sft \ --model_type orion-14b-chat \ --sft_type lora \ --tuner_backend swift \ --template_type AUTO \ --dtype AUTO \ --output_dir output \ --ddp_backend nccl \ --dataset blossom-math-zh \ --train_dataset_sample -1 \ --num_train_epochs 2 \ --max_length 2048 \ --check_dataset_strategy warning \ --lora_rank 8 \ --lora_alpha 32 \ --lora_dropout_p 0.05 \ --lora_target_modules ALL \ --gradient_checkpointing true \ --batch_size 1 \ --weight_decay 0.01 \ --learning_rate 1e-4 \ --gradient_accumulation_steps $(expr 16 / $nproc_per_node) \ --max_grad_norm 0.5 \ --warmup_ratio 0.03 \ --eval_steps 100 \ --save_steps 100 \ --save_total_limit 2 \ --logging_steps 10 \ --use_flash_attn true \
训练过程支持本地数据集，需要指定如下参数:
--custom_train_dataset_path xxx.jsonl \ --custom_val_dataset_path yyy.jsonl \
自定义数据集的格式可以参考：
https://github.com/modelscope/swift/blob/main/docs/source/LLM/自定义与拓展.md#注册数据集的方式
微调后推理脚本: （这里的ckpt_dir需要修改为训练生成的checkpoint文件夹）
# Experimental environment: A100 CUDA_VISIBLE_DEVICES=0 \ swift infer \ --ckpt_dir "output/orion-14b-chat/vx_xxx/checkpoint-xxx" \ --load_dataset_config true \ --max_length 2048 \ --use_flash_attn true \ --max_new_tokens 2048 \ --temperature 0.1 \ --top_p 0.7 \ --repetition_penalty 1. \ --do_sample true \
训练损失:
训练后生成样例：
[PROMPT]<s> Human: Sarah每周开始存5美元,连续4周。然后她连续4周每周存10美元。接下来她连续4周每周存20美元。在12周内,她一共存了多少钱? Assistant: </s>[OUTPUT]首先,我们计算Sarah每周存5美元连续4周所存的钱数: 5美元/周 * 4周 = 20美元 然后,我们计算Sarah连续4周每周存10美元所存的钱数: 10美元/周 * 4周 = 40美元 最后,我们计算Sarah连续4周每周存20美元所存的钱数: 20美元/周 * 4周 = 80美元 将这三个数相加,得到Sarah一共存了多少钱: 20美元 + 40美元 + 80美元 = 140美元 所以,在12周内,Sarah一共存了140美元。 Answer: 140</s> [LABELS]在最开始的4周内，她每周存5美元，所以总共存入5 * 4 = 20美元。 在接下来的4周内，她每周存10美元，所以总共存入10 * 4 = 40美元。 最后，她连续4周每周存20美元，所以总共存入20 * 4 = 80美元。 在12周内，她总共存入20 + 40 + 80 = 140美元。 Answer: 140 -------------------------------------------------- [PROMPT]<s> Human: 凯伦想出去买一些快餐。她开车到了汽车餐厅的驶入通道,点了一个5美元的汉堡。她的儿子突然大声喊着要一个4美元的三明治,于是加到了订单里。然后凯伦决定再订一些饮料,选择了两杯4美元的冰沙。凯伦的快餐订单总共多少钱? Assistant: </s>[OUTPUT]凯伦的快餐订单总共多少钱为: 5美元 + 4美元 + 4美元 + 4美元 = 17美元 Answer: 17</s> [LABELS]凯伦点了一个5美元的汉堡，然后加了一个4美元的三明治。再加上两杯4美元的冰沙。 5 + 4 + (4 * 2) = 5 + 4 + 8 = 17 凯伦的快餐订单总共是17美元。 Answer: 17
参考资料：
https://github.com/OrionStarAI/Orion
https://modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summary
https://huggingface.co/OrionStarAI
