随着企业业务云化进程逐渐进入深水区,简单地使用云上资源出入公网已经无法满足业务的诉求,安全、成本、权限、监控等诉求的迭代,需要企业有系统性地视角来考虑如何做好公网出入口(DMZ)的规划设计。
随着企业客户上云的深入,越来越多的客户会选择在阿里云全球region多地部署其企业业务系统,以便其全球化业务的迅速开展。阿里云在云上有非常丰富云网络产品,来协助企业客户在全球region迅速构建云上多个地域的互联互通,帮忙企业客户快速实现业务上线。本章节为您介绍如何使用云企业网转发路由器CEN-TR(Transit Router),来实现客户本地多个不同城市数据中心IDC(Internet Data Center)和云上VPC跨地域互通互联。
大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
历经 15 载,如今的飞天盘古系统已迭代至第三代,数千万行代码和 1,000 余项专利,从大规模、到高性能、到高效能的分布式存储系统的演进,更高效地让数据中心成为一台计算机。
本文介绍大模型可观测&安全推理审计解决方案和Demo演示,SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能,自定义仪表盘;SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据,建设完整统一的大模型可观测方案,为用户的大模型安全推理审计提供全面合规支持。