从零开始用自定义 Triton 内核编写 FlashAttention-2
本文实现了FlashAttention-2前向传播：通过分块Q/K/V、流式处理K/V避免物化大矩阵，采用在线softmax保障数值稳定，支持因果/非因果模式，并用Triton autotuner调优、PyTorch验证。核心是IO感知设计，将内存复杂度从O(N²)降至O(N)，显著提升长序列吞吐量。
PyTorch 入门指南：深度学习的瑞士军刀
PyTorch 是Meta开源的动态深度学习框架，以灵活的计算图、类NumPy的直观API和强大GPU加速著称。支持快速原型设计与生产部署，涵盖张量运算、自动求导、神经网络构建等核心功能，是研究与工程首选工具。（239字）
大模型训练显存优化实战指南：如何用有限显卡炼出“大丹”
本文是大模型显存优化实战指南，揭秘训练中80%显存消耗源于优化器状态。作者maoku系统梳理九大关键技术：混合精度、梯度检查点、ZeRO分片、算子融合等，助你用2–4张A100（而非8–16张）高效训练7B模型，成本直降75%，让中小企业与个人研究者也能“炼出大丹”。
torch.compile 加速原理：kernel 融合与缓冲区复用
PyTorch即时执行模式因频繁kernel启动和重复显存搬运导致内存带宽瓶颈，GPU算力利用率低。`torch.compile`通过TorchDynamo捕获FX图、TorchInductor实现操作融合、缓冲区复用与Triton自动调优，显著降低VRAM访问次数。官方测试显示平均加速20%–36%，一行代码即可启用，大幅提升推理吞吐与能效。
大模型显存优化实战手册：如何用有限显卡训练百亿参数模型？
AI博主maoku详解大模型显存优化：直击OOM痛点，拆解参数/梯度/优化器/激活值四大显存“大户”，揭秘1:1:6内存占比规律；实操九大技巧——梯度检查点、BF16混合精度、CPU卸载、算子融合等，并验证8卡80G全量微调72B模型的落地效果。省钱、提效、普惠，一文掌握显存优化核心方法论。（239字）
ComfyUI 安装踩坑全记录：Python 版本冲突、CUDA 报错、GitHub 拉取失败如何解决
本文详述Windows下ComfyUI环境配置的典型“雪崩式”故障：Python多版本冲突（3.10/3.11/3.14）、CUDA与PyTorch错配、启动器脱离venv、Git失效及GitHub插件（Impact-Pack/SAM2）因网络不稳定反复拉取失败。核心揭示——问题根源不在技术细节，而在各工具对“干净系统”的隐含假设彼此冲突。全文聚焦实操解法：强制指定venv路径、精准安装cu121版PyTorch、独立配置Git代理，并强调“信venv、不信系统Python”的关键原则。助力新手快速避坑、稳态运行。（239字）
大模型应用：概率驱动：大模型文字预测的核心机制与理论基础.5
本文深入浅出地解析大模型文字预测原理：将文本编码为向量，通过Transformer自注意力机制建模上下文，输出下一字/词的概率分布；详述预训练（海量文本填空学习）与微调过程，并以PyTorch代码实例展示字符级RNN/Transformer预测全流程。
