类目筛选
大模型推理主战场：通信协议的标配
DeepSeek加速了模型平权，大模型推理需求激增，性能提升主战场从训练转向推理。SSE（Server-Sent Events）和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据，如一问一答场景；WebSocket支持双向实时通信，适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议，能更好地支持流式输出、长时任务处理和多轮交互，满足大模型应用的需求。随着用户体量扩大，网关层面临软件变更、带宽成本及恶意攻击等挑战，需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。
AI 推理场景的痛点和解决方案
一个典型的推理场景面临的问题可以概括为限流、负载均衡、异步化、数据管理、索引增强 5 个场景。通过云数据库 Tair 丰富的数据结构可以支撑这些场景，解决相关问题，本文我们会针对每个场景逐一说明。
一文搞懂需求流程规范的制定方法和落地技巧
随着业务和产品的发展、团队的不断扩大，很多团队都不可避免的会遇到需求流程混乱的问题。虽然有的团队也编写了一些“需求流程规范”的文档，但最终却流于纸面，难以在团队真正落地。如何科学制定并有效落实需求管理规范呢？对此，云效产品经理陈逊进行了非常详细的直播分享，本文是他经验的文字总结。
浏览量超 10w 的热图，描述 RAG 的主流架构
大模型性能的持续提升，进一步挖掘了 RAG 的潜力，RAG 将检索系统与生成模型相结合，带来诸多优势，如实时更新知识、降低成本等。点击本文，为您梳理 RAG 的基本信息，并介绍提升大模型生成结果的方法，快一起看看吧~
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
Multi-Agent实践第5期：RAG智能体的应用：让AgentScope介绍一下自己吧
本期文章，我们将向大家展示如何使用AgentScope中构建和使用具有RAG功能的智能体，创造AgentScope助手群，为大家解答和AgentScope相关的问题。
Ganos H3地理网格能力解析与最佳实践
本文介绍了Ganos H3的相关功能，帮助读者快速了解Ganos地理网格的重要特性与应用实践。H3是Uber研发的一种覆盖全球表面的二维地理网格，采用了一种全球统一的、多层次的六边形网格体系来表示地球表面，这种地理网格技术在诸多业务场景中得到广泛应用。Ganos不仅提供了H3网格的全套功能，还支持与其它Ganos时空数据类型进行跨模联合分析，极大程度提升了客户对于时空数据的挖掘分析能力。