类目筛选
2024-05-15
102410
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
102,410
2024-05-15
165215
一键开启 GPU 闲置模式，基于函数计算低成本部署 Google Gemma 模型服务
本文介绍如何使用函数计算 GPU 实例闲置模式低成本、快速的部署 Google Gemma 模型服务。
165,215
2024-05-15
164481
设计与构建 FinOps 流程、团队、体系与目标
企业 FinOps 实施不是一蹴而就的项目，如果您正在推进企业云原生 FinOps 落地，除了选择合适的技术手段，企业内部的流程和体系建设也尤为重要。
164,481
2024-06-24
398
基于 ROS 的 Terraform 托管服务轻松部署文本转语音系统 ChatTTS
基于 IaC 的理念，通过定义一个模板，使用 ROS 提供的 Terraform 托管服务进行自动化部署，可以非常高效快捷地部署任意云资源和应用（比如 ChatTTS 服务）。相比于手动部署或者通过 API、SDK 的部署方式，有着高效、稳定等诸多优势，也是服务上云的最佳实践。
398
2024-09-27
794
跟着iLogtail学习容器运行时与K8s下日志采集方案
iLogtail 作为开源可观测数据采集器，对 Kubernetes 环境下日志采集有着非常好的支持，本文跟随 iLogtail 的脚步，了解容器运行时与 K8s 下日志数据采集原理。
794
2024-11-01
953
Serverless GPU：助力 AI 推理加速
近年来，AI 技术发展迅猛，企业纷纷寻求将 AI 能力转化为商业价值，然而，在部署 AI 模型推理服务时，却遭遇成本高昂、弹性不足及运维复杂等挑战。本文将探讨云原生 Serverless GPU 如何从根本上解决这些问题，以实现 AI 技术的高效落地。
953
2024-05-15
117835
日志服务 HarmonyOS NEXT 日志采集最佳实践
鸿蒙操作系统（HarmonyOS）上的日志服务（SLS）SDK 提供了针对 IoT、移动端到服务端的全场景日志采集、处理和分析能力，旨在满足万物互联时代下应用的多元化设备接入、高效协同和安全可靠运行的需求。
117,835