类目筛选
Qwen-MT：翻得快，译得巧
今天，机器翻译模型Qwen-MT正式上线，支持92种语言互译，具备高度可控性与低延迟、低成本特点，适用于多种场景。开发者可通过Qwen API体验其强大翻译能力。
开源新发布｜PolarDB-X v2.4.1 增强企业级运维能力
PolarDB-X 是阿里云推出的云原生分布式数据库，自2021年10月开源以来，持续迭代升级，至2024年4月发布的v2.4.1版本，重点增强了企业级运维能力，如无锁变更、物理扩缩容、数据TTL等，提供金融级高可用、透明分布式、HTAP一体化等特性。PolarDB-X 支持集中式和分布式一体化形态，兼容MySQL生态，适用于金融、通信、政务等行业。
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
我的程序突然罢工了｜深入探究HSF调用异常，从死锁到活锁的全面分析与解决
本文详细记录了作者在处理HSF调用异常问题的过程中，从初步怀疑死锁到最终发现并解决活锁问题的全过程。
大模型推理主战场：通信协议的标配
DeepSeek加速了模型平权，大模型推理需求激增，性能提升主战场从训练转向推理。SSE（Server-Sent Events）和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据，如一问一答场景；WebSocket支持双向实时通信，适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议，能更好地支持流式输出、长时任务处理和多轮交互，满足大模型应用的需求。随着用户体量扩大，网关层面临软件变更、带宽成本及恶意攻击等挑战，需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。