深度学习环境搭建笔记(一)：detectron2安装过程
这篇博客文章详细介绍了在Windows环境下，使用CUDA 10.2配置深度学习环境，并安装detectron2库的步骤，包括安装Python、pycocotools、Torch和Torchvision、fvcore，以及对Detectron2和PyTorch代码的修改。
【AI系统】张量并行
在大模型训练中，单个设备难以满足需求，模型并行技术应运而生。其中，张量并行（Tensor Parallelism, TP）将模型内部的参数和计算任务拆分到不同设备上，特别适用于大规模模型。本文介绍了张量并行的基本概念、实现方法及其在矩阵乘法、Transformer、Embedding和Cross Entropy Loss等场景中的应用，以及通过PyTorch DeviceMesh实现TP的具体步骤。
联邦学习的未来：深入剖析FedAvg算法与数据不均衡的解决之道
随着数据隐私和数据安全法规的不断加强，传统的集中式机器学习方法受到越来越多的限制。为了在分布式数据场景中高效训练模型，同时保护用户数据隐私，联邦学习（Federated Learning, FL）应运而生。它允许多个参与方在本地数据上训练模型，并通过共享模型参数而非原始数据，实现协同建模。
SiLU函数
SiLU（Sigmoid Linear Unit）函数，也称为 Swish 函数，是一种常用于深度学习中的激活函数。它是由 Google 的研究人员提出的，旨在解决 ReLU（Rectified Linear Unit）函数的一些缺点，尤其是在深度网络的训练过程中。
