大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
本文介绍大模型可观测&安全推理审计解决方案和Demo演示，SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能，自定义仪表盘；SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据，建设完整统一的大模型可观测方案，为用户的大模型安全推理审计提供全面合规支持。
本文主要介绍了云原生安全的现状以及企业应用在云原生化转型中面临的主要安全挑战以及相对成熟的一部分安全体系方法论，深度解析企业云原生 DevSecOps 体系构建。
基于PAI-DSW快速启动Stable Diffusion WebUI，创作你的专属冬日主题AI画作！
本文将展示如何基于阿里云PAI灵骏智算服务，在通义千问开源模型之上进行高效分布式继续预训练、指令微调、模型离线推理验证以及在线服务部署。
本文基于 2023 云栖大会上关于 Koordinator 分享的实录，介绍小红书通过规模化落地混部技术来大幅提升集群资源效能，降低业务资源成本。
本文介绍了如何使用阿里云ROS资源编排服务快速部署和管理云资源。主要内容包括：1. 工具准备：安装ROSCDK,选择合适的代码编辑器和IDE,安装AI代码生成插件等。2. 环境准备：创建工程目录，进入虚拟环境，配置阿里云凭证信息，配置ROSCDK。3. 代码编写：根据文档描述，编写ROS代码来创建VPC、VSwitch、ECS等资源。4. 运行代码：执行ROS代码，创建ECS实例并部署FTP服务。总体来说，本文通过简单的步骤，让小白也能快速上手使用ROS资源编排服务，实现自动化部署和管理阿里云资源。
基于原始的阿里云计算平台产技文档，搭建一套基于大模型检索增强答疑机器人。本方案已在阿里云线上多个场景落地，将覆盖阿里云官方答疑群聊、研发答疑机器人、钉钉技术服务助手等。线上工单拦截率提升10+%，答疑采纳率70+%，显著提升答疑效率。