uv找不到Python头文件的解决方案
最近在微调LLM的时候，我发现使用uv构建的环境，有时候会找不到Python.h，导致一些库报错，如`fatal error: Python.h: No such file or directory`。通过设置`python-preference`可以解决。
如何用 esProc 将数据库表转储提速查询
当数据库查询因数据量大或繁忙变慢时，可借助 esProc 将数据导出为文件进行计算，大幅提升性能。以 MySQL 的 3000 万行订单数据为例，两个典型查询分别耗时 17.69s 和 63.22s。使用 esProc 转储为二进制行存文件 (btx) 或列存文件 (ctx)，结合游标过滤与并行计算，性能显著提升。例如，ctx 并行计算将原查询时间缩短至 0.566s，TopN 运算提速达 30 倍。esProc 的简洁语法和高效文件格式，特别适合历史数据的复杂分析场景。
Triton入门教程：安装与编写和运行简单Triton内核
Triton是一款开源GPU编程语言与编译器，专为AI和深度学习领域设计，提供高性能GPU代码开发的高效途径。它支持通过Python编写自定义GPU内核，性能接近专家级CUDA代码，但无需掌握底层CUDA知识。本文全面介绍了Triton的核心功能、安装方法、基础应用、高级优化策略，以及与CUDA和PyTorch的技术对比。此外，还探讨了其在实际项目中的应用场景，如加速Transformer模型训练和实现高效的量化计算内核。Triton简化了GPU编程流程，降低了开发门槛，同时保持高性能表现，成为连接高级框架与底层硬件的重要工具。
PyTorch CUDA内存管理优化：深度理解GPU资源分配与缓存机制
本文深入探讨了PyTorch中GPU内存管理的核心机制，特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因，并通过实际案例（如Llama 1B模型训练）展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术，显著提升了内存使用效率，减少了系统调用开销。此外，文章还介绍了高级优化方法，包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。
英伟达新一代GPU架构（50系列显卡）PyTorch兼容性解决方案
本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题，分析其根源为预编译二进制文件不支持sm_120架构，并提出解决方案：使用PyTorch Nightly版本、更新CUDA工具包至12.8。通过清理环境并安装支持新架构的组件，成功解决兼容性问题。文章总结了深度学习环境中硬件与框架兼容性的关键策略，强调Nightly构建版本和环境一致性的重要性，为开发者提供参考。
【pytorch】【202504】关于torch.nn.Linear
小白从开始这段代码展示了`nn.Linear`的使用及其背后的原理。
此外，小白还深入研究了PyTorch的核心类`torch.nn.Module`以及其子类`torch.nn.Linear`的源码。`grad_fn`作为张量的一个属性，用于指导反向传播
进一步地，小白探讨了`requires_grad`与叶子节点（leaf tensor）的关系。叶子节点是指在计算图中没有前驱操作的张量，只有设置了`requires_grad=True`的叶子节点才会在反向传播时保存梯度。
最后，小白学习了PyTorch中的三种梯度模式
通过以上学习小白对PyTorch的自动求导机制有了更深刻的理解。