类目筛选
2024-05-15
102327
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
102,327
2024-11-21
538
构建理想容器镜像——以CSI为例
本文围绕阿里云CSI（Container Storage Interface）镜像构建的实际案例，探讨了一系列优化容器镜像的最佳实践。
538
2024-05-15
516
Serverless Kubernetes 开发实践：异构资源，按需使用
Kubernetes 作为当今云原生业界标准，具备良好的生态以及跨云厂商能力。Kubernetes 很好的抽象了 IaaS 资源交付标准，使得云资源交付变的越来越简单，与此同时用户期望更多的聚焦于业务自身，做到面向应用交付，Serverless 理念也因此而生。 那么如何通过原生 k8s 提供Serverless 能力？如何实现GPU等异构资源按需使用？这里给大家介绍一下我们在Serverless Kubernetes 开发实践：异构资源，按需使用。
516
2024-12-05
763
我的程序突然罢工了｜深入探究HSF调用异常，从死锁到活锁的全面分析与解决
本文详细记录了作者在处理HSF调用异常问题的过程中，从初步怀疑死锁到最终发现并解决活锁问题的全过程。
763
2024-12-27
379
【硬核】C++11并发：内存模型和原子类型
本文从C++11并发编程中的关键概念——内存模型与原子类型入手，结合详尽的代码示例，抽丝剥茧地介绍了如何实现无锁化并发的性能优化。
379