类目筛选
2024-05-15
136084
云原生场景下，AIGC 模型服务的工程挑战和应对
本文介绍了在云原生场景下，AIGC 模型服务的工程挑战和Fluid 在云原生 AIGC 模型推理场景的优化。
136,084
2024-05-15
101723
阿里云 ACK One Serverless Argo 助力深势科技构建高效任务平台
阿里云 ACK One Serverless Argo 助力深势科技构建高效任务平台
101,723
2024-05-15
102326
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
102,326
2024-05-15
1391
一文详解 Java 限流接口实现
本文介绍的实现方式属于应用级限制，应用级限流方式只是单应用内的请求限流，不能进行全局限流。要保证系统的抗压能力，限流是一个必不可少的环节，虽然可能会造成某些用户的请求被丢弃，但相比于突发流量造成的系统宕机来说，这些损失一般都在可以接受的范围之内。
1,391
2024-05-15
105466
SLS 大模型可观测&安全推理审计标准解决方案
本文介绍大模型可观测&安全推理审计解决方案和Demo演示，SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能，自定义仪表盘；SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据，建设完整统一的大模型可观测方案，为用户的大模型安全推理审计提供全面合规支持。
105,466
2024-05-15
1497
从方法论到最佳实践，深度解析企业云原生 DevSecOps 体系构建
本文主要介绍了云原生安全的现状以及企业应用在云原生化转型中面临的主要安全挑战以及相对成熟的一部分安全体系方法论，深度解析企业云原生 DevSecOps 体系构建。
1,497