基于Pytorch Gemotric在昇腾上实现GraphSage图神经网络
本文详细介绍了如何在昇腾平台上使用PyTorch实现GraphSage算法，在CiteSeer数据集上进行图神经网络的分类训练。内容涵盖GraphSage的创新点、算法原理、网络架构及实战代码分析，通过采样和聚合方法高效处理大规模图数据。实验结果显示，模型在CiteSeer数据集上的分类准确率达到66.5%。
基于图神经网络的大语言模型检索增强生成框架研究：面向知识图谱推理的优化与扩展
本文探讨了图神经网络（GNN）与大型语言模型（LLM）结合在知识图谱问答中的应用。研究首先基于G-Retriever构建了探索性模型，然后深入分析了GNN-RAG架构，通过敏感性研究和架构改进，显著提升了模型的推理能力和答案质量。实验结果表明，改进后的模型在多个评估指标上取得了显著提升，特别是在精确率和召回率方面。最后，文章提出了反思机制和教师网络的概念，进一步增强了模型的推理能力。
转载：【AI系统】AI系统概述与设计目标
本文介绍了AI系统全栈架构，涵盖AI系统的设计目标、组成和生态，强调了系统性能、用户体验、稳定性及开源社区运营的重要性。文章详细解析了AI系统的基本概念、定义及其设计挑战，旨在为读者构建AI系统知识体系，助力AI技术的全面发展。通过对比传统软件和云计算架构，阐述了AI系统在连接硬件与应用间的独特作用，探讨了高效编程语言、开发框架和工具链的设计，以及AI任务的系统级支持，包括计算能力的扩展、自动编译优化、云原生自动分布式化等方面，为应对AI技术的新挑战提供了全面视角。
【AI系统】完全分片数据并行 FSDP
本文深入探讨了AI框架中针对权重数据、优化器数据和梯度数据的分布式并行实现，特别是在PyTorch框架下的具体方案。文章首先回顾了通用数据并行和分布式数据并行的概念，重点讨论了同步与异步数据并行的差异。接着，文章详细介绍了如何在PyTorch中实现弹性数据并行，特别是完全分片数据并行（FSDP）的机制，包括其如何通过分片模型状态和剩余状态来减少内存消耗，提高训练效率。此外，文章还探讨了混合精度训练、损失缩放和内存消耗估算等关键技术，为理解和实施高效的分布式训练提供了全面的指导。
【AI系统】张量并行
在大模型训练中，单个设备难以满足需求，模型并行技术应运而生。其中，张量并行（Tensor Parallelism, TP）将模型内部的参数和计算任务拆分到不同设备上，特别适用于大规模模型。本文介绍了张量并行的基本概念、实现方法及其在矩阵乘法、Transformer、Embedding和Cross Entropy Loss等场景中的应用，以及通过PyTorch DeviceMesh实现TP的具体步骤。