类目筛选
LLM 应用可观测性：从 Trace 视角展开的探索与实践之旅
基于大语言模型的应用在性能、成本、效果等方面存在一系列实际痛点，本文通过分析 LLM 应用模式以及关注点差异来阐明可观测技术挑战，近期阿里云可观测推出了面向 LLM 应用的可观测解决方案以及最佳实践，一起来了解下吧。
降本 60%！小熊油耗使用阿里云 SAE 更加稳定可靠
小熊油耗在进行架构升级时，进行了广泛的市场调研，深入分析了国内多家云服务商。经过对比多种 IaaS 层云主机方案及 Serverless 产品的部署策略，他们最终选择了阿里云Serverless 应用引擎 SAE。小熊油耗认为，阿里云能给他们提供更强的安全感，安全感来自于阿里云是一个更大的平台：历史最悠久，用户最多、产品最丰富、配套工具众多、技术支持体系成熟，阿里云 SAE，不仅在稳定性上表现卓越，在细粒度的成本控制和极致的弹性能力上表现也非常出色，而且免运维，完美契合了小熊油耗作为一家细分领域小而美的公司的需求。
基于事件驱动构建 AI 原生应用
AI 应用在商业化服务的阶段会面临诸多挑战，比如更快的服务交付速度，更实时、精准的结果以及更人性化的体验等，传统架构限制于同步交互，无法满足上述需求，本篇文章给大家分享一下如何基于事件驱动架构应对上述挑战。
使用 Apifox、Postman 测试 Dubbo 服务，Apache Dubbo OpenAPI 即将发布
Apache Dubbo 3.3.3（即将发布）实现了与 OpenAPI 的深度集成，通过与 OpenAPI 的深度集成，用户能够体验到从文档生成到接口调试、测试和优化的全流程自动化支持。不论是减少手动工作量、提升开发效率，还是支持多语言和多环境，Dubbo 3.3.3 都展现了其对开发者体验的极大关注。结合强大的 Mock 数据生成和自动化测试能力，这一版本为开发者提供了极具竞争力的服务治理解决方案。如果你正在寻找高效、易用的微服务框架，Dubbo 3.3.3 将是你不容错过的选择。
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
阿里云PAI大模型RAG对话系统最佳实践
本文为大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
FunASR 语音大模型在 Arm Neoverse 平台上的优化实践
Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。相比于传统的 x86 架构服务器，Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要，因为大模型通常需要大量的计算资源，而能效比高的 Arm 架构服务器可以提供更好的性能和效率。