Arctic长序列训练技术:百万级Token序列的可扩展高效训练方法
Arctic长序列训练(Arctic Long Sequence Training, ALST)技术能够在4个H100节点上对Meta的Llama-8B模型进行高达1500万token序列的训练,使得长序列训练在标准GPU集群甚至单个GPU上都能实现快速、高效且易于部署的执行。
MindIE-LLM ATB模型推理全流程解析
最近,有很多小伙伴问我,如果他们想自己基于MindIE镜像中的文件适配新模型,可以怎么做?
为了实现这个目标,首先需要了解MindIE-LLM模型在推理过程中的代码调用流程,然后根据新模型的算法进行适配。
人工智能算法python程序运行环境安装步骤整理
本教程详细介绍Python与AI开发环境的配置步骤,涵盖软件下载、VS2017安装、Anaconda配置、PyCharm设置及组件安装等内容,适用于Windows系统,助你快速搭建开发环境。
手写中文识别模型复现踩坑日记
最近复现了手写中文识别项目 jjcheer/ocrcn_tf2,使用 TensorFlow 2。过程中踩了不少坑:从 Unicode 解码错误、tfrecord 与 label 不对齐,到最后换 Python 3.8 才解决的环境问题。总结教训:用虚拟环境、按项目配版本、写 requirements.txt、多看 issues。复现不易,且行且珍惜。
nanoVLM: 简洁、轻量的纯 PyTorch 视觉-语言模型训练代码库
nanoVLM 是一个基于 PyTorch 的轻量级工具包,专为训练视觉语言模型(VLM)设计。它结构简洁、易于理解,适合初学者快速上手。支持在免费 Colab Notebook 上训练,结合视觉 Transformer 与语言模型,实现图像理解和文本生成。项目受 nanoGPT 启发,注重代码可读性与实现效率。
离线推理精度问题分析
传统模型迁移到昇腾设备上出现了精度问题,介绍精度问题的定位方法和解决方案,重点介绍了精度问题的定位定界方法。
从实验室到生产线:机器学习模型部署的七大陷阱及PyTorch Serving避坑指南
本文深入探讨了机器学习模型从实验室到生产环境部署过程中常见的七大陷阱,并提供基于PyTorch Serving的解决方案。内容涵盖环境依赖、模型序列化、资源管理、输入处理、监控缺失、安全防护及模型更新等关键环节。通过真实案例分析与代码示例,帮助读者理解部署失败的原因并掌握避坑技巧。同时,文章介绍了高级部署架构、性能优化策略及未来趋势,如Serverless服务和边缘-云协同部署,助力构建稳健高效的模型部署体系。
昇腾AI4S图机器学习:DGL消息传递接口的PyG替换
DGL (Deep Graph Learning) 和 PyG (Pytorch Geometric) 是两个主流的图神经网络库,它们在API设计和底层实现上有一定差异,在不同场景下,研究人员会使用不同的依赖库,昇腾NPU对PyG图机器学习库的支持亲和度更高,因此有些时候需要做DGL接口的PyG替换。