类目筛选
700
【深度】企业 AI 落地实践（四）：如何构建端到端的 AI 应用观测体系
本文探讨了AI应用在实际落地过程中面临的三大核心问题：如何高效使用AI模型、控制成本以及保障输出质量。文章详细分析了AI应用的典型架构，并提出通过全栈可观测体系实现从用户端到模型推理层的端到端监控与诊断。结合阿里云的实践经验，介绍了基于OpenTelemetry的Trace全链路追踪、关键性能指标（如TTFT、TPOT）采集、模型质量评估与MCP工具调用观测等技术手段，帮助企业在生产环境中实现AI应用的稳定、高效运行。同时，针对Dify等低代码平台的应用部署与优化提供了具体建议，助力企业构建可扩展、可观测的AI应用体系。
700
2024-05-15
3860
大模型推理优化实践：KV cache复用与投机采样
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
3,860
2024-09-05
1014
RAG效果优化：高质量文档解析详解
本文关于如何将非结构化数据（如PDF和Word文档）转换为结构化数据，以便于RAG（Retrieval-Augmented Generation）系统使用。
1,014
2023-11-07
43776
基于阿里云PAI平台搭建知识库检索增强的大模型对话系统
基于原始的阿里云计算平台产技文档，搭建一套基于大模型检索增强答疑机器人。本方案已在阿里云线上多个场景落地，将覆盖阿里云官方答疑群聊、研发答疑机器人、钉钉技术服务助手等。线上工单拦截率提升10+%，答疑采纳率70+%，显著提升答疑效率。
43,776
2024-05-15
119166
Paimon 与 Spark 的集成（二）：查询优化
通过一系列优化，我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%，已基本和 Parquet x Spark 持平，本文对其中的关键优化点进行了详细介绍。
119,166
2024-07-16
20504
几百T的视频、图片数据进行更有效地存储和管理
采用传统硬盘搭建存储方案，看起来成本低廉，但是再加上各种附加因素后却大幅攀升，而云存储厂商通常提供基于订阅的定价模型、一些免费服务和一定的折扣。现在，我们就来了解一下如何更省钱地使用云存储。
20,504
