2024-05-15
104304

SLS 大模型可观测&安全推理审计标准解决方案

本文介绍大模型可观测&安全推理审计解决方案和Demo演示,SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能,自定义仪表盘;SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据,建设完整统一的大模型可观测方案,为用户的大模型安全推理审计提供全面合规支持。

104,304
2024-05-15
665

企业级DMZ上云场景方案

随着企业业务云化进程逐渐进入深水区,简单地使用云上资源出入公网已经无法满足业务的诉求,安全、成本、权限、监控等诉求的迭代,需要企业有系统性地视角来考虑如何做好公网出入口(DMZ)的规划设计。

665
2024-05-15
644

阿里云全球跨地域网络互通方案

随着企业客户上云的深入,越来越多的客户会选择在阿里云全球region多地部署其企业业务系统,以便其全球化业务的迅速开展。阿里云在云上有非常丰富云网络产品,来协助企业客户在全球region迅速构建云上多个地域的互联互通,帮忙企业客户快速实现业务上线。本章节为您介绍如何使用云企业网转发路由器CEN-TR(Transit Router),来实现客户本地多个不同城市数据中心IDC(Internet Data Center)和云上VPC跨地域互通互联。

644
2024-05-15
138877

用软硬协同设计下的飞天盘古降低存储系统开销

历经 15 载,如今的飞天盘古系统已迭代至第三代,数千万行代码和 1,000 余项专利,从大规模、到高性能、到高效能的分布式存储系统的演进,更高效地让数据中心成为一台计算机。

138,877
2024-05-15
117075

日志服务 HarmonyOS NEXT 日志采集最佳实践

鸿蒙操作系统(HarmonyOS)上的日志服务(SLS)SDK 提供了针对 IoT、移动端到服务端的全场景日志采集、处理和分析能力,旨在满足万物互联时代下应用的多元化设备接入、高效协同和安全可靠运行的需求。

117,075
2024-05-15
101262

大语言模型推理提速,TensorRT-LLM 高性能推理实践

大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。

101,262
2024-05-15
2157

Qwen1.5-MoE开源,魔搭社区推理训练最佳实践教程来啦

通义千问团队推出Qwen系列的首个MoE模型,Qwen1.5-MoE-A2.7B。

2,157
2024-08-21
237

阿里云百炼应用实践系列-10分钟构建能主动提问的智能导购

通过使用“百炼”平台,您可以快速构建一个多代理(Multi-Agent)架构的智能导购助手。该助手能够通过多轮互动了解顾客的具体需求,收集详细信息后,利用“百炼”的知识检索增强功能或已有的商品数据库进行商品搜索,为顾客推荐最合适的产品。

237
42169

基于阿里云PAI平台搭建知识库检索增强的大模型对话系统

基于原始的阿里云计算平台产技文档,搭建一套基于大模型检索增强答疑机器人。本方案已在阿里云线上多个场景落地,将覆盖阿里云官方答疑群聊、研发答疑机器人、钉钉技术服务助手等。线上工单拦截率提升10+%,答疑采纳率70+%,显著提升答疑效率。

1
...
4
5
6
...
24
到第
5/24