昇腾AI4S图机器学习：DGL图构建接口的PyG替换
本文探讨了在图神经网络中将DGL接口替换为PyG实现的方法，重点以RFdiffusion蛋白质设计模型中的SE3Transformer为例。SE3Transformer通过SE(3)等变性提取三维几何特征，其图构建部分依赖DGL接口。文章详细介绍了两个关键函数的替换：`make_full_graph` 和 `make_topk_graph`。前者构建完全连接图，后者生成k近邻图。通过PyG的高效实现（如`knn_graph`），我们简化了图结构创建过程，并调整边特征处理逻辑以兼容不同框架，从而更好地支持昇腾NPU等硬件环境。此方法为跨库迁移提供了实用参考。
SnapViewer：解决PyTorch官方内存工具卡死问题，实现高效可视化
深度学习训练中，GPU内存不足（OOM）是常见难题。PyTorch虽提供内存分析工具，但其官方可视化方案存在严重性能瓶颈，尤其在处理大型模型快照时表现极差。为解决这一问题，SnapViewer项目应运而生。该项目通过将内存快照解析为三角形网格结构并借助成熟渲染库，充分发挥GPU并行计算优势，大幅提升大型快照处理效率。此外，SnapViewer优化了数据处理流水线，采用Rust和Python结合的方式，实现高效压缩与解析。项目不仅解决了现有工具的性能缺陷，还为开发者提供了更流畅的内存分析体验，对类似性能优化项目具有重要参考价值。
《深度探秘：Java构建Spark MLlib与TensorFlow Serving混合推理流水线》
本文探讨了如何结合Apache Spark MLlib、TensorFlow Serving和Java构建混合推理流水线。Spark MLlib利用分布式计算高效处理大规模数据，完成模型训练；TensorFlow Serving专注于模型部署，提供稳定高效的推理服务；Java则以其稳健性协调两者，实现高性能与扩展性。文章分析了环境搭建、模型训练与集成、输入输出处理及性能优化等关键环节，并讨论了兼容性与性能瓶颈等挑战。这一架构在医疗、金融等领域具有广阔应用前景，展现了强大的技术潜力。
《深度剖析：Java利用ONNX Runtime部署ViT模型的关键路径》
ViT将Transformer引入视觉领域，通过自注意力机制捕捉图像长距离依赖，超越传统CNN局限，在图像分类等任务中表现卓越。PyTorch以其动态图机制和简洁API助力ViT开发，而ONNX Runtime作为跨平台推理引擎，实现从PyTorch到部署的无缝衔接。在Java环境中，借助ONNX Runtime加载ViT模型，优化性能并解决兼容性问题，为智能安防、自动驾驶等领域带来全新可能。这场技术融合之旅充满挑战与机遇，推动计算机视觉迈向新高度。
200行python代码实现从Bigram模型到LLM
本文从零基础出发，逐步实现了一个类似GPT的Transformer模型。首先通过Bigram模型生成诗词，接着加入Positional Encoding实现位置信息编码，再引入Single Head Self-Attention机制计算token间的关系，并扩展到Multi-Head Self-Attention以增强表现力。随后添加FeedForward、Block结构、残差连接(Residual Connection)、投影(Projection)、层归一化(Layer Normalization)及Dropout等组件，最终调整超参数完成一个6层、6头、384维度的“0.0155B”模型
从零开始200行python代码实现LLM
本文从零开始用Python实现了一个极简但完整的大语言模型，帮助读者理解LLM的工作原理。首先通过传统方法构建了一个诗词生成器，利用字符间的概率关系递归生成文本。接着引入PyTorch框架，逐步重构代码，实现了一个真正的Bigram模型。文中详细解释了词汇表（tokenizer）、张量（Tensor）、反向传播、梯度下降等关键概念，并展示了如何用Embedding层和线性层搭建模型。最终实现了babyGPT_v1.py，一个能生成类似诗词的简单语言模型。下一篇文章将在此基础上实现自注意力机制和完整的GPT模型。
BayesFlow：基于神经网络的摊销贝叶斯推断框架
BayesFlow 是一个基于 Python 的开源框架，利用摊销神经网络加速贝叶斯推断，解决传统方法计算复杂度高的问题。它通过训练神经网络学习从数据到参数的映射，实现毫秒级实时推断。核心组件包括摘要网络、后验网络和似然网络，支持摊销后验估计、模型比较及错误检测等功能。适用于流行病学、神经科学、地震学等领域，为仿真驱动的科研与工程提供高效解决方案。其模块化设计兼顾易用性与灵活性，推动贝叶斯推断从理论走向实践。
《 PyTorch 2.3革新：torch.compile自动生成CUDA优化内核全解》
torch.compile是PyTorch 2.3推出的革命性功能，通过即时编译（JIT）技术优化模型运行速度。它借助TorchDynamo提取计算图，并通过TorchInductor生成高度优化的CUDA内核，充分发挥GPU并行计算能力。支持默认、reduce-overhead和max-autotune三种模式，分别适用于不同性能需求场景。尽管在复杂模型或动态计算图中可能面临挑战，但通过调整参数或结合其他优化技术，仍可显著提升性能。这一工具极大简化了CUDA代码优化流程，为深度学习开发提供了强大支持。
AI界的"翻译官"：ONNX如何让各框架模型和谐共处
还在为不同框架间的模型转换头疼？ONNX让你在PyTorch训练的模型可以无缝在TensorFlow部署，甚至能让模型在手机上飞速运行。本文带你了解这个AI领域的'瑞士军刀'，轻松实现跨平台高性能模型部署。