百炼 decision-model-preview 实测:System One 协议全解析 + 20 条样本校准数据

简介: 本文面向百炼决策链路开发者,详解TypeSafe System One协议:含完整请求/响应结构、20条实测校准数据(含延迟、token、置信分布)及`bl log audit list`三大核账坑点。所有数据源自2026-10-12真实压测。(239字)

面向要在百炼上接决策链路的开发者。本文给出 TypeSafe System One 协议的完整请求/响应结构、20 条样本的校准实测数据、以及 bl log audit list 核账时的三个坑。所有数字来自 2026-10-12 的实测留痕。

模型与协议

decision-model-preview:2026-09-24 上架,限时免费(price=0),category Cost-optimized,最大输出长度 0。定位是决策模型:不做文本生成,输入待判定内容(state)与问题(questions),一次前向返回结构化判定。

端点与请求骨架:

POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1/systemone

{
  "model": "decision-model-preview",
  "state": { ... },                          // String | Object | Array
  "questions": {
    "<key>": {"type": "choice",  "instructions": "...", "criteria": {"opt1": "描述", ...}},
    "<key>": {"type": "noul",    "instructions": "..."},
    "<key>": {"type": "score",   "instructions": "...", "criteria": ["级1描述", "级2描述", ...]}
  }
}

响应结构:

{
   
  "answers": {
   
    "<key>": {
   "type": "choice", "choice": "...", "confidence": 0.71, "probabilities": {
   ...}},
    "<key>": {
   "type": "noul",   "noul": 0.78},
    "<key>": {
   "type": "score",  "score": 2.22, "legend": {
   ...}, "probabilities": {
   ...}}
  },
  "usage": {
   "input_tokens": 157},
  "latency_ms": 48.7
}

注意 usage 只有 input_tokens,最大输出长度 0 的直接印证,成本模型里没有输出 token 这一项。

实测一:一次前向三任务

工单分流(choice 5 项 + noul + score 4 级混排),48.7ms / 157 input tok:

  • escalate noul=0.98(正确,应升级)
  • severity score=2.22,概率质量 2 档 0.75 / 3 档 0.24(「稳在 2 档、有 3 档可能」的对冲分布,正是分流信号想要的形态)
  • department choice=other(0.77),billing 仅 0.21,错判

错判机制:criteria 五个选项四个描述具体,other 是「以上都不是」。工单「支付 24 小时未到账」横跨支付与账务语义,被兜底项吸收。criteria 的措辞粒度直接决定 choice 归类:各选项描述应等粒度,兜底项尽量少用或收窄。

实测二:20 条样本校准

语料:5 组 × 4 条评论区样本(明确广告/明确辱骂/擦边阴阳/变体字/正常讨论),每条独立调用,双问(violation noul + category choice 五选一)。

延迟:服务端 p50 46.3ms,18/20 落在 41.9-52.5ms;2 条毛刺 1835.5 / 2370.0ms(10% 长尾,SLA 设计需考虑)。input tokens 合计 2128,均值 106.4/条。客户端端到端 p50 237.9ms(含 HTTP+TLS),对外写 SLA 用客户端口径,别拿服务端 46.3ms 直接承诺。

按 0.9 自动 / 0.6-0.9 复核 / <0.6 放行分流:

档位 条数 说明
auto ≥0.9 0 两组明确违规 8 条仅 2 条过 0.8
review 0.6-0.9 3 0.87 / 0.82 / 0.79
pass <0.6 17 擦边 4 条全对(0.03-0.18)+ 正常组干净 + 9 条违规漏过

五组 violation noul 全分布(比均值有用):

组 4 条样本 noul
明确广告 0.87 / 0.42 / 0.47 / 0.53
明确辱骂 0.82 / 0.50 / 0.50 / 0.32
擦边阴阳 4 条全在 0.03-0.18
变体字 0.79 / 0.38 / 0.05 / 0.34
正常讨论 0.01 / 0.24 / 0.52 / 0.02

辱骂组两条正好卡在 0.50,模型对它们真没把握;正常组那条 0.52 就是「请问支持流式输出吗」。分布整体保守,阈值拿这张表去标。

两个关键校准特征:

  1. 保守校准:概率整体下压。「加微信 xxx888888」0.87,但「同行价格更低找我,扣 1 发链接」0.42、「代做私我」0.53,广告形态越弱分越低。文档示例阈值直接进生产 = 自动化率 0%,阈值必须用自有样本标定
  2. 失败模式不对称:「威信 same as 上面,懂的都懂」noul=0.05 高置信放行(中英混排+指代盲区),「薇❤ aaa888 领/取/全/套/资/料」0.79 抓住。高置信放行不进人工队列,变体字防线需要第二道工序

实测三:对照 qwen3.8-flash JSON mode

同 20 条,chat completions + response_format json_object + temperature 0:

  • 解析:20/20 通过(字段完整、选项合法),JSON mode 可靠性已可用,不必妖魔化
  • 延迟:p50 3857.6ms / max 6613.1ms,与决策模型 p50 差约 83 倍(口径同为服务端 p50)
  • token:3603 in + 3175 out(20 条),成本 ≈0.0115 元(限免期决策模型 0 元)

选型含义:离线审核批处理 flash 足够;实时链路(聊天内意图识别、电话实时分流、inline 风控)只有 46ms 量级可进。

下游校验设计

  • 交叉矛盾 6/20:noul 与 choice 以 0.5 为界违规性不一致(例:noul=0.52 而 choice=normal)。0.5 附近按「无把握」路由人工
  • 概率量化 9/20:probabilities 两位小数,和为 0.99(8 条)/1.01(1 条)。校验留容差(|sum-1| < 0.02),精确等值会误杀 45% 响应

CLI 核账三坑

  1. bl log audit list --model decision-model-preview 对 systemone 流量过滤不生效(totalCount=0),拉全量后按 originLog.model 客户端过滤
  2. --max-results 超 20 静默返回空(totalCount=0,不报错),单页上限 20
  3. 响应顶层仅 list / totalCount,无翻页 token 字段,--next-token 实际不可用,分页用 --skip 递增

核账结果:当日 166 条审计记录中 23 条 decision 调用(冒烟 1 + 三任务 1 + 校准 20 + 批量探测 1),input_tokens 合计 2408,与实测侧 34+157+2128+89 逐条一致。审计行字段:request_id / start_time / duration / status_code / usage(JSON 字符串需二次解析)。

另:state 传 Array 不是批量接口:4 条评论的数组被序列化为单 state 返回聚合判定(noul=0.63),批量需并发单次调用。

接入清单

  1. 用 50-100 条自有真实样本标定阈值(最重要)
  2. criteria 各选项等粒度设计,兜底项收窄
  3. 下游校验留概率容差,0.5 附近路由人工
  4. 变体字场景加第二道工序
  5. 批量走并发单调用,别指望 state 数组
相关文章
|
2月前
|
人工智能 测试技术 API
最近全网爆火的 Jev 到底是什么?适合干什么、怎么用,一篇讲透!
Jev是TypeSafe AI推出的“系统一模型”,不生成文本,专做毫秒级结构化决策:Choice(多选)、Score(打分)、Noul(是非概率)。响应快193倍、成本低444倍,适合工单路由、内容审核、测试定级等高频判断场景。
3164 4
最近全网爆火的 Jev 到底是什么?适合干什么、怎么用,一篇讲透!
|
2月前
|
存储 人工智能 自然语言处理
Qwen3.8-Flash 上线千问AI平台:全新架构,迈向极致性价比
Qwen3.8-Flash 现已上线千问AI平台,默认提供 100 万 token 上下文并内置官方工具,每 token 仅激活 6B 参数,适合高并发应用、工具驱动的工作流以及编程与协同办公助手。
1144 1
|
3月前
|
人工智能 Shell 调度
3 大 DeepSeek Harness 进阶玩法,招多个大肥鱼帮我干活!
3 个 DeepSeek Harness 进阶玩法保姆级教程,手把手带你用斜杠命令减少重复输入、通过 MCP 给 AI 装上工具和自定义工具、打造多 Agent 军团协作干活,覆盖 6 个内置命令、自定义命令、动态工具、subagent、workflow、ralph 和 Agent Teams 插件完整玩法。
2054 0
|
27天前
|
人工智能 JSON 自然语言处理
2026 年 Jev 决策模型深度拆解:原理解读、实战测评与保姆级落地教程
有一款特殊AI模型在开发者圈子刷屏,它摒弃传统大模型擅长的对话聊天能力,专注做高速结构化决策,它就是TypeSafe AI推出的Jev模型。该模型由ChatGPT共同发明人Diogo Almeida主导研发,定位为**System One Model(系统一模型)**,对标人类大脑快速直觉判断的思维模式,在响应延迟、调用成本、结构化输出稳定性上相比传统生成式大模型有着巨大差异。本文会完整拆解Jev底层原理、三大核心原语能力、适用业务场景,同时提供可直接运行的curl、Python代码示例,并且结合多组实测数据,客观分析模型优势与能力边界,帮助普通开发者和AI应用从业者快速上手落地。
1675 1
|
2月前
|
人工智能 JSON API
全网刷屏的 Jev 模型正式开放!一手实战测评 + 保姆级教程
全网爆火的 Jev 模型是什么?有什么用?怎么使用?怎么接入 AI 编程工具?效果真的好么?傻子可懂的 Jev 保姆级实战教程 + 项目实战测评来啦
10797 34
|
4月前
|
人工智能 JavaScript API
从开题到答辩:用百炼 CLI 一条命令跑通论文写作全链路
论文写作正陷于“工具碎片化”困境:查重、AIGC检测、降重、润色、参考文献、LaTeX校对等需切换十余平台。百炼CLI `bl text chat` 以统一长文本对话能力,覆盖开题至答辩9大环节,一次登录、一套计费、可编程批处理,成本低、合规强,助力研究生高效、规范完成学术写作。(239字)
从开题到答辩:用百炼 CLI 一条命令跑通论文写作全链路
|
人工智能 安全 Apache
QwenPaw:你的私人 AI 助理 —— 数据归你、记忆进化、多端触达的开源个人智能体
QwenPaw 是一款开源、本地优先的AI个人智能体(Apache 2.0),数据归属用户、记忆自主进化、支持钉钉/飞书/微信等多端触达。3行命令即可部署,内置Coding IDE、Persona人格、定时任务、MCP工具生态与多Agent协作,真正属于你的私有AI助理。
QwenPaw:你的私人 AI 助理 —— 数据归你、记忆进化、多端触达的开源个人智能体
|
6天前
|
人工智能 监控 安全
个人智能体真能管事了:用了三天灵光 2.0,我把盯新闻、盯货、翻账单都交给了它
作者分享使用蚂蚁灵光2.0个人智能体三天的体验:通过“帮我管”功能创建长期任务,让智能体自动盯AI新闻并整理选题写入飞书、监控iPhone Duo库存并在到货时推送、以及翻查账单。文章重点描述了资讯值守任务如何帮助作者第一时间捕捉Kimi K3.1 Pro发布消息,体现了个人智能体从聊天工具向主动事务管理工具的转变。
|
7月前
|
人工智能 自然语言处理 安全
Claude Code 全攻略:命令大全 + 实战工作流(建议收藏)
本文介绍了Claude Code终端AI助手的使用指南,主要内容包括:1)常用命令如版本查看、项目启动和更新;2)三种工作模式切换及界面说明;3)核心功能指令速查表,包含初始化、压缩对话、清除历史等操作;4)详细解析了/init、/help、/clear、/compact、/memory等关键命令的使用场景和语法。文章通过丰富的界面截图和场景示例,帮助开发者快速掌握如何通过命令行和交互界面高效使用Claude Code进行项目开发,特别强调了CLAUDE.md文件作为项目知识库的核心作用。
52004 73
Claude Code 全攻略:命令大全 + 实战工作流(建议收藏)
|
2月前
|
人工智能 编解码 自然语言处理
阿里云万镜一刻AIGC 视频创作平台详细介绍:产品核心能力、典型场景、价格及常见问题解答
本文全面解析阿里云万镜一刻全链路AIGC视频创作平台,平台依托Wan系列自研视频大模型,覆盖文生视频、图生视频、风格迁移等全流程创作能力,提供分级会员订阅与积分计费模式,适配电商种草、品牌营销、影视预演等多元场景,无需专业剪辑技能即可实现高效视频量产,大幅降低AI视频内容的生产门槛。

热门文章

最新文章