近日，美团LongCat团队开源了 LongCat-Flash-Lite —— 一款采用创新 N-gram Embedding 架构的68.5B MoE大模型。每次推理仅激活约2.9B-4.5B参数，却在Agent工具调用、代码生成等关键场景和同规模现有模型的对比中展现出卓越的竞争力，更关键的是：推理延迟大幅降低。基于嵌入扩展的应用与系统级优化，让模型推理效率大幅提升，在输入 4K，输出 1k 的典型负载下，LongCat API 可提供 500-700 token/s 的生成速度。
✅ 低成本高效益：3B激活参数实现80B级能力，推理成本大幅降低
✅ Agent-ready：工具调用准确率领先15%+，适合构建自动化工作流
✅ 开源友好：MIT协议，支持Hugging Face生态无缝集成
✅ 长文本支持：YaRN扩展至256K上下文，适合文档处理场景
开源链接
Modelscope：https://www.modelscope.cn/models/meituan-longcat/LongCat-Flash-Lite
代码仓库：https://github.com/meituan-longcat/LongCat-Flash-Chat
技术报告：https://www.modelscope.cn/papers/2601.21204
交流反馈：longcat-team@meituan.com
为什么说它是“非典型”MoE？
传统MoE模型通过堆叠专家（Experts）提升能力，但LongCat-Flash-Lite反其道而行之，N-gram 嵌入层不仅能提升模型能力，其结构特性还为推理加速提供了新方向。尽管模型总参数量达 685 亿，但通过动态激活机制，每次推理仅激活29亿～45亿参数。为进一步放大这一稀疏优势，LongCat团队在系统层面进行了三重核心优化：
- 参数智能分配：
LongCat团队将 31.4B 参数（占总参数 46%）投入 N-gram 嵌入层。相较于单纯增加 MoE 专家数量，此方案在达到高模型稀疏度后，既能有效减少专家模块间的通信与调度开销，又得益于嵌入层 O(1) 的查找复杂度，避免了参数扩容带来的计算线性增长。 - 专用缓存与内核优化：
LongCat团队设计了 N-gram Cache 专用缓存机制（灵感源于KV Cache），直接在GPU设备上管理 N-gram ID，与推理框架中复杂的动态调度逻辑实现低开销同步，大幅降低嵌入查找的I/O延迟。同时，通过定制CUDA内核及广泛的内核融合（如 AllReduce+Residual Add+RMSNorm、路由器Logits的Softmax+TopK+Scaling融合）与 PDL（Programmatic Dependent Launch） 等技术，提升GPU占用率，减少内核启动间隙。 - 推测解码协同
为充分发挥稀疏激活优势，LongCat团队将其与 推测解码 策略深度协同。通过3步的投机推理，扩大了实际的批次大小，利用到了低激活总参的特性，同时针对草案模型（draft model）延迟敏感的特性，让其使用常规嵌入层以规避N-gram查找计算的开销，进一步提升了推理性能。
性能碾压：Agent与Coding是最大亮点
LongCat-Flash-Lite 在智能体工具使用与编程任务上均展现出领先性能：
τ²-Bench 三大行业场景高分领先，编程领域覆盖全链路能力，在代码修复、终端执行、多语言开发等任务上表现优异。
智能体任务表现
在评估复杂工具使用与工作流执行的基准上，模型表现突出：
- τ²-Bench行业场景：在电信（72.8分）、零售（73.1分）、航空（58.0分）三大子场景中均取得最高分，表明其能有效理解并执行涉及专业工具的复杂指令。
- VitaBench通用场景：以7.0分领先于对比模型，验证了其在多样化现实任务中的实用工具调用能力。
代码任务表现
在衡量编程实用技能的基准上，模型展现出强劲的问题解决能力：
- 代码修复（SWE-Bench）：54.4%的准确率显著领先于同规模对比模型，证明其处理真实软件工程问题（如修复bug、实现特性）的有效性。
- 终端命令执行（TerminalBench）：33.75分的表现远超对比模型所处的15-20分区间，体现了对开发者工作流中命令行操作的高精度理解。
- 多语言代码生成（SWE-Bench Multilingual）：38.10%的准确率展现了跨编程语言与软件生态的较好泛化能力。
通用知识及推理能力
模型在综合评估中保持了与规模相匹配的均衡性能：
- 综合知识（MMLU）：85.52分，与Gemini 2.5 Flash-Lite（84.68）相当。
- 中文理解（C-Eval & CMMLU）：分别取得86.55分与82.48分，在中文评估中具备一定优势。
- 复杂推理（MMLU-Pro, GPQA-Diamond）：78.29分与66.78分的表现，显示了处理高阶、多学科问题的能力。
- 数学推理（MATH500, AIME）：在基础（96.80%）与竞赛级数学问题（AIME24:72.19; AIME25:63.23）上均表现稳健，擅长多步推演。
在Agent工具调用和代码生成场景，LongCat-Flash-Lite以更少激活参数实现大幅领先，特别适合构建高效AI Agent系统。
手把手部署指南（含SGLang生产级方案）
方案1：快速体验（Transformers）
环境要求
# 推荐：2×H100/A100 80GB pip install -U transformers==4.57.6 accelerate==1.10.0 torch>=2.6
基础推理代码
from modelscope import AutoModelForCausalLM, AutoTokenizer model_name = "meituan-longcat/LongCat-Flash-Lite" model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype="auto", device_map="auto", trust_remote_code=True ) tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) messages = [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Give me a brief introduction to large language models."} ] input_ids = tokenizer.apply_chat_template( messages, add_generation_prompt=True, return_tensors="pt" ).to(model.device) generated_ids = model.generate(inputs=input_ids, max_new_tokens=256) output_ids = generated_ids[0][len(input_ids[0]):].tolist() response = tokenizer.decode(output_ids, skip_special_tokens=True).strip("\n") print(response)
方案2：生产部署（SGLang + Tensor/Expert Parallelism）
适用于高并发场景，单节点8×H20-141G即可部署：
# 1. 编译SGLang内核（需SM90A支持） cd sgl-kernel python3 -m uv build --wheel --color=always --no-build-isolation \ -Ccmake.define.SGL_KERNEL_ENABLE_SM90A=1 \ -Ccmake.define.CMAKE_POLICY_VERSION_MINIMUM=3.5 \ -Cbuild-dir=build . pip3 install dist/sgl_kernel-*.whl --force-reinstall # 2. 启动服务（8路专家并行 + 8路张量并行） SGLANG_USE_MODELSCOPE=true python3 -m sglang.launch_server \ --model meituan-longcat/LongCat-Flash-Lite \ --port 8080 \ --host 0.0.0.0 \ --mem-fraction-static 0.9 \ --max-running-requests 64 \ --trust-remote-code \ --attention-backend flashinfer \ --ep 8 \ # Expert Parallelism --tp 8 \ # Tensor Parallelism --disable-cuda-graph
* 注意：需提前安装 flashinfer 以获得最佳推理性能。
工具调用实战：打造高效Agent
LongCat-Flash-Lite原生支持Function Calling，示例：
tools = [ { "type": "function", "function": { "name": "func_add", "description": "Calculate the sum of two numbers", "parameters": { "type": "object", "properties": { "x1": {"type": "number", "description": "The first addend"}, "x2": {"type": "number", "description": "The second addend"} }, "required": ["x1", "x2"] } } } ] messages = [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Please tell me what is $$125679 + 234519$$?"}, { "role": "assistant", "content": "I'll calculate the sum of 125679 and 234519 for you.", "tool_calls": [{"type": "function", "function": {"name": "func_add", "arguments": {"x1": 125679, "x2": 234519}}}] }, {"role": "tool", "name": "func_add", "content": '{"ans": 360198}'} ] input_ids = tokenizer.apply_chat_template( messages, tools=tools, add_generation_prompt=True, return_tensors="pt" ).to(model.device) generated_ids = model.generate(inputs=input_ids, max_new_tokens=256) output_ids = generated_ids[0][len(input_ids[0]):].tolist() response = tokenizer.decode(output_ids, skip_special_tokens=True).strip("\n") print(response)
📌 完整解析逻辑见仓库 parse_model_response.py，支持自动提取function_call结构。
推荐的采样设置：
{ "repetition_penalty": 1.06, "temperature": 0.7, "top_p": 0.95, "top_k": 4 }
使用ModelScope API Inference推理
使用ModelScope的免费API Inference
from openai import OpenAI client = OpenAI( base_url='https://api-inference.modelscope.cn/v1', api_key='<MODELSCOPE_TOKEN>', # ModelScope Token ) response = client.chat.completions.create( model='meituan-longcat/LongCat-Flash-Lite', # ModelScope Model-Id messages=[ { 'role': 'system', 'content': 'You are a helpful assistant.' }, { 'role': 'user', 'content': '你好' } ], stream=True ) for chunk in response: if chunk.choices: print(chunk.choices[0].delta.content, end='', flush=True)
同时：美团龙猫已向开发者开放 LongCat-Flash-Lite 版本 API 接口，可登录 LongCat API 开放平台申请，每日免费额度高达5000万tokens。同时，在 LongCat API 开放平台上申请的API Key，也可以通过魔搭API-Inference的API-Provider接口接入
美团龙猫官网：https://longcat.ai
API开放平台：https://longcat.chat/platform/usage
点击即可跳转模型：https://www.modelscope.cn/models/meituan-longcat/LongCat-Flash-Lite
