推荐场景GPU优化的探索与实践：CUDA Graph与多流并行的比较与分析
RTP 系统(即 Rank Service)，是一个面向搜索和推荐的 ranking 需求，支持多种模型的在线 inference 服务，是阿里智能引擎团队沉淀多年的技术产品。今年，团队在推荐场景的GPU性能优化上又做了新尝试——在RTP上集成了Multi Stream，改变了TensorFlow的单流机制，让多流的执行并行，作为增加GPU并行度的另一种选择。本文详细介绍与比较了CUDA Graph与多流并行这两个方案，以及团队的实践成果与心得。
ONNX 与量化：提高模型效率
【8月更文第27天】随着人工智能技术的广泛应用，模型部署变得越来越重要。为了在资源受限的设备上运行复杂的机器学习模型，模型量化技术成为了一种有效的手段。Open Neural Network Exchange (ONNX) 作为一种开放格式，支持在不同框架之间交换训练好的模型，同时也支持模型量化。本文将探讨如何结合 ONNX 和模型量化技术来提高模型的效率，减少模型大小并加快推理速度。
声纹识别实战：从数据采集到模型训练
【10月更文挑战第16天】声纹识别技术通过分析个人的语音特征来验证其身份，具有无接触、便捷的特点。本文将带你从零开始，一步步完成声纹识别系统的构建，包括数据采集、音频预处理、特征提取、模型训练及评估等关键步骤。我们将使用Python语言和相关的科学计算库来进行实践。