Qwen3 X ModelScope工具链: 飞速训练 + 全面评测
Qwen于近日发布了Qwen3系列模型，包含了各个不同规格的Dense模型和MoE模型。开源版本中，Dense模型基本沿用了之前的模型结构，差别之处在于对于Q和K两个tensor增加了RMSNorm；MoE模型去掉了公共Expert，其他结构基本与前一致。在模型大小上，涵盖了从0.6B到32B（Dense）和235B（MoE）不同的尺寸。
MiniMax开源超长文本处理神器，魔搭社区助力开发者推理部署
Transfermor架构与生俱来的二次计算复杂度，及其所带来的上下文窗口瓶颈，一直为业界所关注。此前，MiniMax开源了MiniMax-01系列模型，采用创新的线性注意力架构，使得模型能够在100万个token长度的上下文窗口上进行预训练；而在推理时，实现了高效处理全球最长400万token的上下文，是目前最长上下文窗口的20倍。