类目筛选
Multi-Agent实践第6期：面向智能体编程：狼人杀在AgentScope
本期文章，我们会介绍一下AgentScope的一个设计哲学（Agent-oriented programming）
监控vLLM等大模型推理性能
本文将深入探讨 AI 推理应用的可观测方案，并基于 Prometheus 规范提供一套完整的指标观测方案，帮助开发者构建稳定、高效的推理应用。
【最佳实践系列】高并发调用百炼语音合成大模型
本文介绍了阿里云百炼的CosyVoice语音合成大模型及其高并发调用优化方案。CosyVoice支持文本到语音的实时流式合成，适用于智能设备播报、音视频创作等多种场景。为了高效稳定地调用服务，文章详细讲解了WebSocket连接复用、连接池和对象池等优化技术，并通过对比实验展示了优化效果。优化后，机器负载降低，任务耗时减少，网络负载更优。同时，文章还提供了异常处理方法及常见问题解决方案，帮助开发者更好地集成和使用SDK。
Flink CDC+Kafka 加速业务实时化
阿里巴巴开发工程师，Apache Flink Committer 任庆盛，在 9 月 24 日 Apache Flink Meetup 的分享。
通义灵码使用安装教程，3 分钟快速上手体验
通义灵码，是阿里云与通义实验室联合出品的一款基于通义大模型的智能编码辅助工具，提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答、异常报错排查等能力，并针对阿里云的云服务使用场景调优，助力开发者高效、流畅的编码。目前个人版免费使用。
探索LLM推理全阶段的JSON格式输出限制方法
文章详细讨论了如何确保大型语言模型（LLMs）输出结构化的JSON格式，这对于提高数据处理的自动化程度和系统的互操作性至关重要。
AI 推理场景的痛点和解决方案
一个典型的推理场景面临的问题可以概括为限流、负载均衡、异步化、数据管理、索引增强 5 个场景。通过云数据库 Tair 丰富的数据结构可以支撑这些场景，解决相关问题，本文我们会针对每个场景逐一说明。
深度剖析 RocketMQ 5.0，架构解析：云原生架构如何支撑多元化场景？
了解 RocketMQ 5.0 的核心概念和架构概览；然后我们会从集群角度出发，从宏观视角学习 RocketMQ 的管控链路、数据链路、客户端和服务端如何交互；学习 RocketMQ 如何实现数据的存储，数据的高可用，如何利用云原生存储进一步提升竞争力。
Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
Meta发布了 Meta Llama 3系列，是LLama系列开源大型语言模型的下一代。在接下来的几个月，Meta预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能，并会分享 Llama 3 研究论文。
