基于图神经网络的大语言模型检索增强生成框架研究：面向知识图谱推理的优化与扩展
本文探讨了图神经网络（GNN）与大型语言模型（LLM）结合在知识图谱问答中的应用。研究首先基于G-Retriever构建了探索性模型，然后深入分析了GNN-RAG架构，通过敏感性研究和架构改进，显著提升了模型的推理能力和答案质量。实验结果表明，改进后的模型在多个评估指标上取得了显著提升，特别是在精确率和召回率方面。最后，文章提出了反思机制和教师网络的概念，进一步增强了模型的推理能力。
转载：【AI系统】AI系统概述与设计目标
本文介绍了AI系统全栈架构，涵盖AI系统的设计目标、组成和生态，强调了系统性能、用户体验、稳定性及开源社区运营的重要性。文章详细解析了AI系统的基本概念、定义及其设计挑战，旨在为读者构建AI系统知识体系，助力AI技术的全面发展。通过对比传统软件和云计算架构，阐述了AI系统在连接硬件与应用间的独特作用，探讨了高效编程语言、开发框架和工具链的设计，以及AI任务的系统级支持，包括计算能力的扩展、自动编译优化、云原生自动分布式化等方面，为应对AI技术的新挑战提供了全面视角。
【AI系统】完全分片数据并行 FSDP
本文深入探讨了AI框架中针对权重数据、优化器数据和梯度数据的分布式并行实现，特别是在PyTorch框架下的具体方案。文章首先回顾了通用数据并行和分布式数据并行的概念，重点讨论了同步与异步数据并行的差异。接着，文章详细介绍了如何在PyTorch中实现弹性数据并行，特别是完全分片数据并行（FSDP）的机制，包括其如何通过分片模型状态和剩余状态来减少内存消耗，提高训练效率。此外，文章还探讨了混合精度训练、损失缩放和内存消耗估算等关键技术，为理解和实施高效的分布式训练提供了全面的指导。
【AI系统】张量并行
在大模型训练中，单个设备难以满足需求，模型并行技术应运而生。其中，张量并行（Tensor Parallelism, TP）将模型内部的参数和计算任务拆分到不同设备上，特别适用于大规模模型。本文介绍了张量并行的基本概念、实现方法及其在矩阵乘法、Transformer、Embedding和Cross Entropy Loss等场景中的应用，以及通过PyTorch DeviceMesh实现TP的具体步骤。
【AI系统】动态图与静态图转换
从 TensorFlow、PyTorch 到 PaddlePaddle、MindSpore、MegEngine，主流 AI 框架经历了动静分离、动静结合到动静统一的发展过程。这些框架通过动态图转静态图技术，实现了计算效率与灵活性的平衡，显著提升了 AI 开发效率和产品应用的便利性。
【AI系统】数据并行
数据并行是一种在分布式AI系统中广泛应用的技术，通过将数据集划分成多个子集并在不同计算节点上并行处理，以提高计算效率和速度。在大规模机器学习和深度学习训练中，数据并行可以显著加快模型训练速度，减少训练时间，提升模型性能。每个计算节点接收完整的模型副本，但处理不同的数据子集，从而分摊计算任务，提高处理速度和效率。数据并行按同步方式可分为同步数据并行和异步数据并行，按实现方式包括数据并行、分布式数据并行、完全分片的数据并行等。其中，分布式数据并行（DDP）是当前应用最广泛的并行算法之一，通过高效的梯度聚合和参数同步机制，确保模型一致性，适用于大型NPU集群和AI系统。
【AI系统】并行训练基本介绍
分布式训练通过将任务分配至多个节点，显著提升模型训练效率与精度。本文聚焦PyTorch2.0中的分布式训练技术，涵盖数据并行、模型并行及混合并行等策略，以及DDP、RPC等核心组件的应用，旨在帮助开发者针对不同场景选择最合适的训练方式，实现高效的大模型训练。