ONNX 优化技巧：加速模型推理
【8月更文第27天】ONNX (Open Neural Network Exchange) 是一个开放格式，用于表示机器学习模型，使模型能够在多种框架之间进行转换。ONNX Runtime (ORT) 是一个高效的推理引擎，旨在加速模型的部署。本文将介绍如何使用 ONNX Runtime 和相关工具来优化模型的推理速度和资源消耗。
AVX2指令集简介和代码示例
这篇文章介绍了AVX2指令集，它是Intel在2013年为提高处理器并行计算能力引入的SIMD技术。AVX2增强了整数运算，包括256位操作和位操作，还提供了FMA指令及更多广播和转换功能。与AVX相比，AVX2在图像处理和媒体编码等领域有显著优势。文章通过一个C代码示例展示了如何使用AVX2进行向量加法，并提醒编译时需确保支持AVX2指令集。
vLLM、SGLang 与 TensorRT-LLM 综合对比分析报告
vLLM、SGLang与TensorRT-LLM是三大主流大模型推理引擎。vLLM以PagedAttention实现高吞吐与易用性，适合通用场景；SGLang凭借RadixAttention和结构化生支持，在多轮对话与复杂推理中表现突出；TensorRT-LLM深度优化NVIDIA硬件，追求极致性能，适用于大规模生产部署。三者各有侧重，vLLM均衡通用，SGLang擅长复杂任务，TensorRT-LLM性能领先，选型需结合场景、硬件与成本综合考量。
图解机器学习 | XGBoost模型详解
XGBoost一个非常强大的Boosting算法工具包，本文讲解XGBoost的算法原理和工程实现，包括监督学习、回归树、集成、Gradient Boosting详细步骤，以及XGBoost的并行列块涉及、缓存访问等工程优化知识。