类目筛选
【算法精讲系列】通义模型Prompt调优的实用技巧与经验分享
本文详细阐述了Prompt的设计要素，包括引导语、上下文信息等，还介绍了多种Prompt编写策略，如复杂规则拆分、关键信息冗余、使用分隔符等，旨在提高模型输出的质量和准确性。通过不断尝试、调整和优化，可逐步实现更优的Prompt设计。
大模型推理主战场：通信协议的标配
DeepSeek加速了模型平权，大模型推理需求激增，性能提升主战场从训练转向推理。SSE（Server-Sent Events）和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据，如一问一答场景；WebSocket支持双向实时通信，适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议，能更好地支持流式输出、长时任务处理和多轮交互，满足大模型应用的需求。随着用户体量扩大，网关层面临软件变更、带宽成本及恶意攻击等挑战，需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。
基于阿里云PAI平台搭建知识库检索增强的大模型对话系统
基于原始的阿里云计算平台产技文档，搭建一套基于大模型检索增强答疑机器人。本方案已在阿里云线上多个场景落地，将覆盖阿里云官方答疑群聊、研发答疑机器人、钉钉技术服务助手等。线上工单拦截率提升10+%，答疑采纳率70+%，显著提升答疑效率。
面向全栈可观测的分布式链路追踪
全栈可观测App提供了一套完整的分析工具，从数据统计分析能力到数据关联，再到具备智能化和自动化特性的相关工具，以解决人们在可观测性方面所遇到的问题。未来，我们将持续提供更加丰富和强大的分析工具来满足用户的需求。
阿里云PAI大模型RAG对话系统最佳实践
本文为大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
JSON 日志分析的“正确姿势”：阿里云 SLS 高效实践指南
JSON 日志因灵活易扩展而广泛应用，但其海量数据也带来分析挑战。本文系统介绍阿里云日志服务（SLS）中处理 JSON 日志的最佳实践，涵盖数据预处理、索引配置、JSON 函数使用及 SQL 智能生成，助你高效挖掘日志价值。
阿里妈妈展示广告引擎新探索：迈向全局最优算力分配
在绿色计算的大背景下，算力分配将朝着更加高效和智能的方向持续演进。本文将介绍阿里妈妈展示广告引擎在全局视角下优化算力分配的新探索，让在线引擎像变形金刚一样灵活强悍。算力在提倡节能减排，降本增效，追求绿色技术的大趋势下，充分利用好算力资源，尤其是在阿里妈妈展示广告引擎这种使用近百万core机器资源的业...
谈谈优雅的钩子--bpftrace
bpftrace是一个内核跟踪工具，简单来说就是在函数上挂个钩子，挂上钩子后就可以将函数的入参和返回值取出来再放入程序进行二次编程，最终能让程序按照我们的意图来对函数进行观测。