深度学习-分享几个开源AI模型库
现在市面上有很多的深度学习预训练模型库，这些预训练库收集了不同AI任务的SOTA模型，有的还提供推理的SDK。这对于做AI应用和AI开发来说，是宝贵的开源资源。
推荐场景GPU优化的探索与实践：CUDA Graph与多流并行的比较与分析
RTP 系统(即 Rank Service)，是一个面向搜索和推荐的 ranking 需求，支持多种模型的在线 inference 服务，是阿里智能引擎团队沉淀多年的技术产品。今年，团队在推荐场景的GPU性能优化上又做了新尝试——在RTP上集成了Multi Stream，改变了TensorFlow的单流机制，让多流的执行并行，作为增加GPU并行度的另一种选择。本文详细介绍与比较了CUDA Graph与多流并行这两个方案，以及团队的实践成果与心得。
FastAPI + ONNX 部署机器学习模型最佳实践
本文介绍了如何结合FastAPI和ONNX实现机器学习模型的高效部署。面对模型兼容性、性能瓶颈、服务稳定性和安全性等挑战，FastAPI与ONNX提供了高性能、易于开发维护、跨框架支持和活跃社区的优势。通过将模型转换为ONNX格式、构建FastAPI应用、进行性能优化及考虑安全性，可以简化部署流程，提升推理性能，确保服务的可靠性与安全性。最后，以手写数字识别模型为例，展示了完整的部署过程，帮助读者更好地理解和应用这些技术。
基于小样本学习(Few-shot learning)的对话意图识别
人类非常擅长通过极少量的样本识别一类物体，比如小孩子只需要书中的一些图片就可以认识什么是“斑马”，什么是“犀牛”。在这种人类的快速学习能力的启发下，我们希望模型在大量类别中学会通过少量数据正确地分类后，对于新的类别，我们也只需要少量的样本就能快速学习，这就是Few-shot learning 要解决的问题。