类目筛选
大模型推理主战场：通信协议的标配
DeepSeek加速了模型平权，大模型推理需求激增，性能提升主战场从训练转向推理。SSE（Server-Sent Events）和WebSocket成为大模型应用的标配网络通信协议。SSE适合服务器单向推送实时数据，如一问一答场景；WebSocket支持双向实时通信，适用于在线游戏、多人协作等高实时性场景。两者相比传统HTTPS协议，能更好地支持流式输出、长时任务处理和多轮交互，满足大模型应用的需求。随着用户体量扩大，网关层面临软件变更、带宽成本及恶意攻击等挑战，需通过无损上下线、客户端重连机制、压缩算法及安全防护措施应对。
通义千问开源模型在PAI灵骏的最佳实践
本文将展示如何基于阿里云PAI灵骏智算服务，在通义千问开源模型之上进行高效分布式继续预训练、指令微调、模型离线推理验证以及在线服务部署。
元象开源首个MoE大模型：4.2B激活参数，效果堪比13B模型，魔搭社区最佳实践来了
近日，元象发布其首个Moe大模型 XVERSE-MoE-A4.2B， 采用混合专家模型架构 （Mixture of Experts），激活参数4.2B，效果即可媲美13B模型。该模型全开源，无条件免费商用，支持中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用，推动低成本部署。
联合XTuner，魔搭社区全面支持数据集的长文本训练
XTuner和魔搭社区（SWIFT）合作引入了一项长序列文本训练技术，该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU，从而减少每个GPU上的显存占用。通过这种方式，训练超大规模模型时可以处理更长的序列，提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术，支持多种大模型和数据集的训练。此外，SWIFT还提供了一个用户友好的界面，方便用户进行训练和部署，并且支持评估功能。
通义灵码：AI 研发趋势与效果提升实践丨SDCon 全球软件技术大会演讲全文整理
SDCon 全球软件技术大会上，阿里云通义灵码团队分享了关于 AI 辅助编码的最新研究与实践，随着 AIGC 技术的发展，软件研发领域将迎来智能化的新高度，助力 DevOps 流程优化，提升研发效率和研发幸福感。
让X不断延伸, 从跨AZ到跨Region再到跨Cloud
本文从“空间”这一维度，聊一聊PolarDB-X在跨空间部署能力上的不断发展和延伸，以及在不同空间范围下的高可用和容灾能力，并着重介绍一下最新的产品能力——GDN(Global Database Network)。
ICDE’24 | 中国企业首获最佳论文，详解PolarDB Serverless如何在0.5秒内实现跨机迁移
数据库领域顶会 ICDE 2024于5月13-17日在荷兰乌特勒支（Utrecht, Netherlands）举办。ICDE (The International Conference on Data Engineering) 与VLDB、SIGMOD被公认为是国际数据管理领域三大顶级学术会议，此次在荷兰召开的ICDE 2024大会，共吸引北京大学、清华大学、浙江大学、MIT、斯坦福等机构，以及谷歌、微软、阿里云、华为、字节等公司的近1000名人员参会，共同探讨AI、数据库、数据处理领域的前沿技术问题。
RDS通用云盘核心能力
本次实验主要体验RDS通用云盘的三项核心能力：IO加速、IO突发和数据归档。首先创建实验资源，包括RDS MySQL实例和ECS实例，耗时约5分钟。接着通过sysbench导入数据并配置安全设置。 在体验阶段，我们对比了开启和关闭IO加速及IO突发功能对RDS性能的影响，观察到QPS有显著差异。最后，通过将数据从云盘迁移到OSS中，展示了冷存层的数据归档功能，并进行RDS硬盘缩容，验证了其成本优势。整个实验过程详细记录了每一步操作，确保用户能直观感受到RDS通用云盘带来的性能提升和成本优化。
通义视觉推理大模型QVQ-72B-preview重磅上线
Qwen团队推出了新成员QVQ-72B-preview，这是一个专注于提升视觉推理能力的实验性研究模型。提升了视觉表示的效率和准确性。它在多模态评测集如MMMU、MathVista和MathVision上表现出色，尤其在数学推理任务中取得了显著进步。尽管如此，该模型仍存在一些局限性，仍在学习和完善中。