Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。相比于传统的 x86 架构服务器，Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要，因为大模型通常需要大量的计算资源，而能效比高的 Arm 架构服务器可以提供更好的性能和效率。
复杂的运行环境、巨大的部署量和高速发展业务迭代对 Agent 的软件工程质量带来了巨大挑战。基于阿里云可观测团队多年的开发和运维经验，本文将分享如何构建和执行可靠性工程策略。
本文介绍大模型可观测&安全推理审计解决方案和Demo演示，SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能，自定义仪表盘；SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据，建设完整统一的大模型可观测方案，为用户的大模型安全推理审计提供全面合规支持。
目标读者数字化系统开发运维（DevOps）工程师、稳定性工程师（SRE）、可观测平台运维人员等。背景介绍日志的形式往往多种多样，如果只是简单的读入日志数据，将很难进行搜索、分析及可视化。将原始的日志数据解析为结构化的数据，将大幅提升数据的可用性，方便用户进行快捷的“字段-值”的查询和分析。最基础的解...
YODA(Yitian Optimal Development Assistant，倚天应用迁移工具)旨在帮助用户更加高效、便捷地实现跨平台、跨结构下的应用迁移，大幅度缩短客户在新平台上端到端性能验证所需的人力和时间，使得客户更加专注于应用本身算法的优化，协同客户实现降本增效。
阿里云百炼产品月刊【2024年7月】，涵盖本月产品和功能发布、市场活动和应用实践等内容，帮助您快速了解阿里云百炼产品的最新动态。
