在客服分诊、内容审核、提示词防护和模型路由等场景中,系统需要的通常不是一段自由生成的文本,而是可直接驱动流程的结构化判断。传统自回归模型需要逐 Token 生成,不仅增加时延和解析成本,也让输出格式与业务规则之间多一层不确定性。
Deepopen(改进后的 Laya)将这类问题定义为 System 1 决策任务:针对文本、邮件、工单或 JSON 状态,直接输出预定义类型的结果。其 choice 用于候选标签分类,score 用于序数评分,noul 用于输出二元事件概率。模型完成的是结构化决策而非自由文本生成,下游系统无需再从自然语言中提取标签、分数或布尔值。
Deepopen 采用 Apache 2.0 开源许可证发布,支持在遵守许可证条款的前提下使用、修改、分发与二次开发。
从“生成答案”转向“一次前向决策”
Deepopen 的运行链路可分为三层:输入层接收字符串、字典或对话列表等状态数据;问题层描述业务规则,包括问题类型、判定说明与候选标准;决策层则在一次前向计算中并行计算标签概率、置信度和动作概率。
这一设计适合嵌入已有业务状态机。工单服务可以先识别意图、紧急度、退款请求和流失风险,再由置信度门控决定自动流转还是进入人工审核。内容治理服务可同时判断毒性、骚扰、威胁、垃圾信息及违规等级,并将结构化结果写入审核队列。
Deepopen 的重点不在替代复杂推理模型,而是把高频、结构明确、可枚举的决策前移为低延迟组件。
三检查点与路由边界
Deepopen 提供英文、多语言和类型决策三个检查点。英文模型基于 ModernBERT-large,面向英文输入;多语言模型基于 mmBERT-base,面向 100 余种语言;类型决策模型面向特定结构化工作流进行微调。
Router 是 Deepopen 的关键组件。它在推理前分析输入脚本与语言特征:英文拉丁文本优先进入英文检查点,非拉丁文字或非英语拉丁语言进入多语言检查点。将路由放在前向推理之前,能够降低不匹配检查点进入自动化流程的风险。
类型决策检查点不会默认接管所有请求,只有显式指定任务或开启工作流识别时才会被选择。这一边界很重要:其能力依赖特定训练任务,不能被泛化为任意业务的零样本决策器。
基准复现与初步结果
Deepopen(改进后的 Laya)参加了 CLINC150 与 Banking77 两项意图分类基准的复现测试。当前本地测试结果与参考成绩对照后,CLINC150 位于第 2 位,Banking77 位于第 5 位。

这组结果说明 Deepopen 已具备在标准化意图分类任务中进行复现和横向比较的工程基础,但初步结果不应被表述为最终排名。后续需要固定数据版本、评测脚本、随机种子、硬件环境及标签处理方式,以便持续复核结果变化,并明确不同模型在多标签、高基数候选项和跨语言输入中的适用边界。
概率输出不是终点,校准才是自动化前提
Deepopen 通过 RLCD 训练结构化决策概率,并支持按问题类型与选项数量应用温度校准。对于自动化流程而言,标签正确与否是一层问题,概率是否可用于门控是另一层问题。
例如,退款工单可在高置信度时进入自动队列,低置信度时升级人工处理;提示词防护可用二元概率决定是否触发拦截策略。Deepopen 输出每个候选项的概率分布、最终选择和置信度,使业务系统能把模型结果接入阈值、审计和回退机制。
但校准必须贴合目标领域。基础检查点在类型决策任务上的零样本表现有限,类型决策的较高指标来自针对相应任务的微调检查点。生产环境应保留验证集、重新拟合温度参数,并将阈值策略与人工复核闭环一起验收。
性能与部署取舍
在 T4 测试记录中,多语言检查点单问题延迟为 32.8 毫秒,10 个问题批处理为 72.3 毫秒;单卡批量吞吐量为每秒 103 至 332 个问题。性能收益主要来自非自回归架构,以及将多个问题合并到一次前向计算的方式。
部署时,模型冷加载与常驻内存之间需要明确取舍。默认懒加载适合低频或资源受限环境;持续服务应预加载实际需要的检查点,或提高热模型数量,避免多语言流量切换时承受秒级重载。应用也可将已有模型实例挂载给 Router,减少重复占用显存。
对于高基数标签任务,还需关注选项文本占用的 Token 预算。默认配置下,数十个以上的候选项会压缩每个标签获得的描述空间,从而降低区分度。可通过扩大 head_max_len、同步提高上下文长度,或采用先粗分类再细分类的两阶段策略处理。
适用场景与工程约束
Deepopen 适合多语言客服工单分诊、提示词注入检测、社区内容审核、请求复杂度识别及模型路由等场景。这些流程有共同特点:业务状态明确、可选结果可枚举、需要低时延,并且希望将模型输出纳入现有规则、审计与人工复核机制。
它不适合把开放式问答、长链路推理或高基数标签分类直接视为默认能力。尤其在标签数超过几十个时,应先检查选项预算与领域样本;在涉及资金、合规或安全的自动化动作中,应以置信门槛、人工复核和可追溯日志共同约束决策。
Deepopen 的技术取舍很清晰:用非自回归结构化输出交换开放式生成能力,用前置语言路由降低多语言误判风险,用概率校准服务自动化分流。对于已有明确业务状态、预定义结果空间和低延迟要求的系统,这种架构比“先生成、后解析”的链路更直接,也更容易纳入现有服务治理体系。