基于NVIDIA A30 加速卡推理部署通义千问-72B-Chat测试过程
本文介绍了基于阿里云通义千问72B大模型（Qwen-72B-Chat）的性能基准测试，包括测试环境准备、模型部署、API测试等内容。测试环境配置为32核128G内存的ECS云主机，配备8块NVIDIA A30 GPU加速卡。软件环境包括Ubuntu 22.04、CUDA 12.4.0、PyTorch 2.4.0等。详细介绍了模型下载、部署命令及常见问题解决方法，并展示了API测试结果和性能分析。
NPU上运行onnxruntime
在Ascend环境下使用onnxruntime推理时，若安装了GPU版本的onnxruntime（`onnxruntime-gpu`），可能会因缺少CUDA组件报错。正确做法是卸载`onnxruntime-gpu`，并根据官方文档适配NPU，通过源码构建支持CANN的onnxruntime whl包。具体步骤为克隆onnxruntime源码，使用`--use_cann`参数构建，并安装生成的whl包。最后，配置CANNExecutionProvider进行推理。
Qwen2大模型微调入门实战（完整代码）
该教程介绍了如何使用Qwen2，一个由阿里云通义实验室研发的开源大语言模型，进行指令微调以实现文本分类。微调是通过在（指令，输出）数据集上训练来改善LLMs理解人类指令的能力。教程中，使用Qwen2-1.5B-Instruct模型在zh_cls_fudan_news数据集上进行微调，并借助SwanLab进行监控和可视化。环境要求Python 3.8+和英伟达显卡。步骤包括安装所需库、准备数据、加载模型、配置训练可视化工具及运行完整代码。训练完成后，展示了一些示例以验证模型性能。相关资源链接也一并提供。
ONNX 优化技巧：加速模型推理
【8月更文第27天】ONNX (Open Neural Network Exchange) 是一个开放格式，用于表示机器学习模型，使模型能够在多种框架之间进行转换。ONNX Runtime (ORT) 是一个高效的推理引擎，旨在加速模型的部署。本文将介绍如何使用 ONNX Runtime 和相关工具来优化模型的推理速度和资源消耗。
