本文介绍大模型可观测&安全推理审计解决方案和Demo演示，SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能，自定义仪表盘；SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据，建设完整统一的大模型可观测方案，为用户的大模型安全推理审计提供全面合规支持。
2023年10月31日，杭州·云栖大会，阿里云技术主论坛带来了一场关于阿里云主力产品与技术创新的深度解读，阿里云网络产品线负责人祝顺民带来《云智创新，网络随行》的主题发言，针对阿里云飞天洛神云网络（下文简称洛神网络）领域产品服务创新以及背后的技术积累进行了深度解读，不少背后的创新技术系首次重磅披露。
本文为阿里云SLS 执少 在《DataFunTalk技术交流会：阿里云实时查询分析专场》分享时的议题内容（文字版本）。首先，阿里云日志服务SLS是一个什么样的产品和服务呢？ 我们用一句话来概括的话，那就是我们是一个云上的、一站式的、可观测日志服务平台。 首先呢，我们提供了强大的日志数据采集能力，支持...
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
阿里巴巴开发工程师，Apache Flink Committer 任庆盛，在 9 月 24 日 Apache Flink Meetup 的分享。
历经 15 载，如今的飞天盘古系统已迭代至第三代，数千万行代码和 1,000 余项专利，从大规模、到高性能、到高效能的分布式存储系统的演进，更高效地让数据中心成为一台计算机。
阿里云存储产品高级解决方案架构师欧阳雁（乐忱）分享了中国企业在全闪存高端存储市场的快速增长，指出AI大模型的发展推动了企业级存储市场。去年，高端企业级存储闪存占比约为25%，相较于欧美50%的比例，显示出中国在AI领域的巨大增长潜力。演讲涵盖AI业务流程，包括数据预处理、训练和推理的痛点，以及针对这些环节的存储解决方案，强调了稳定、高性能和生命周期管理的重要性。此外，还介绍了数据预处理的全球加速和弹性临时盘技术，训练阶段的高性能存储架构，推理场景的加速器和AI Agent的应用，以及应对大数据业务的存储考量，如对象存储、闪电立方和冷归档存储产品。
