图片和语音接到会话服务时,哪一段不进历史?

简介: 已有 Node 服务要给业务系统加巡检助手时,先按运行位置拆开,而不是先选一个「多模态开关」。Tansr 里,用户照片、用户自己的转写按钮、助手自己调用的媒体工具,落在不同进程和不同记录上。

已有 Node 服务要给业务系统加巡检助手时,先按运行位置拆开,而不是先选一个「多模态开关」。Tansr 里,用户照片、用户自己的转写按钮、助手自己调用的媒体工具,落在不同进程和不同记录上。

三层各留什么

设计示例:巡检后端用自托管 @tansr/serve 持有会话,终端只上传照片或音频。下表按资料站的边界拆开。

层 负责的事 不负责的事
终端 保留图文草稿和原始音频,决定转写要不要成为下一条输入 在手机上运行 Node 会话内核
令牌档进程内 SDK sendBlocks 在空闲时启动新轮;platform.transcribe / speak 直打 /t1/asr、/t1/tts 把直连语音写入历史或事件流
自托管会话服务 代打 POST /v2/sessions/:id/audio/transcriptions 与 audio/speech;从 0.10.0 起在历史工具结果里保留 artifact 把这两条音频路由签进事件流;把旧纯文本历史自动补成媒体
平台 bundle 下发能力位和 platformModels。空数组表示未配置 由服务在本地猜一个媒体模型名
业务库 工单、权限和最终贴进去的示意图 用会话卡片代替业务记录

sendBlocks 返回 started 才表示新轮已启动。rejected 为零消费,原因只包括 turn_running、operation_running、empty_input、invalid_blocks、invalid_image、image_too_large、context_budget_exceeded。原生音频、视频块在写入历史和调用模型之前就是 invalid_blocks。运行中向会话服务注入图文块,是 422 midturn_blocks_rejected。

托管档和注入档没有 session.platform 这面连接,调用会 invalid_options,并指向令牌档,不会静默改道。令牌档的能力位只来自 bundle,选项里再传 capabilities 会被拒绝。

媒体工具默认不在服务进程的工具全集里

imageGen、videoGen、speechToText、textToSpeech 必须写进 builtin。不传 tools 时,能力位允许的本地内置工具会装上,这四个名字仍然不在里面。能力位默认关闭;点名但位是关的,装配期 capability_disabled,不会悄悄少一个工具。它们的定义进入每次提示,并且计费。

0.19.0 起的 realtimeAudio 等六个平台位只授权非聊天 HTTP,不装配聊天工具,也不进入会话。不要用这个位代替转写路由。

ImageGenData 给界面的是图片地址。错误时地址为空。异步 taskId 用 GET /t1/imagegen/tasks/{taskId} 查看,页面写明 7 天可查;预算耗尽或中断时服务端照跑照扣。artifact 用来在恢复后重建卡片。存储升到版本 2 后,旧的 tansr serve、自托管服务和 SDK 宿主不能继续写该卷,升级前要一起换。

语音转文字原始音频超过错误页所举的 24 MiB 时,返回 payload_too_large,按 detail.maxRawBytes 切分或压缩,不要原样重试。这个数字不是 image_too_large 的图片上限。

一次纯文本接口不必装这四个工具。2026-10-21 的 npm 版本是 @tansr/sdk 0.19.0、@tansr/serve 0.15.1。本文没有在服务器上跑通这些调用。说明见 v2 协议与 webhook 和 平台装配与 bundle。

相关文章
|
7天前
|
云安全 人工智能 运维
当攻击全面Agent化,你的安全防御能否跟上AI Speed?
多起客户侧AK泄露事件应急的真实观察
1311 6
|
5天前
|
人工智能 API 开发工具
DeepSeek Harness 神插件:白嫖 13 家大厂模型
`dsh-our-free-model` 是 DeepSeek Harness 神级插件:零配置、零API Key、零账号,聚合13家大厂免费模型(含DeepSeek V4.1 Flash、Kimi K3等),支持本地网关、用量看板与自动降级,真正实现“白嫖即用”。
|
10天前
|
存储 人工智能 安全
千问办公官网入口网页版登录:qwenwork.cn 注册送2000积分、登录送100积分
阿里云千问办公(QwenWork)是AI智能工作平台,支持一句话生成PPT、表格、网页、视频及数据分析。个人免费版送2000积分+每日登录赠100分,含1GB存储、5个发布页;企业版198元/席/月起。阿里千问办公QwenWork官网:https://t.aliyun.com/U/0VCTGt 阿里AI工作平台,一句话完成数据分析、PPT 生成、视频剪辑、网页搭建等复杂任务
|
1月前
|
人工智能 JSON API
全网刷屏的 Jev 模型正式开放!一手实战测评 + 保姆级教程
全网爆火的 Jev 模型是什么?有什么用?怎么使用?怎么接入 AI 编程工具?效果真的好么?傻子可懂的 Jev 保姆级实战教程 + 项目实战测评来啦
9965 33
|
5天前
|
人工智能 开发者
Qoder CN 大使计划正式开启|无限创造,等你一起
全年免费积分、优先内测、活动支持与更多共创机会,邀请用 Qoder 把想法变成现实的你。
523 6
|
16天前
|
存储 人工智能 并行计算
大模型本地部署终端选型方法论:以 Qwen3.8-27B 为例的四档分层完整流程
本文提出一套大模型本地部署终端选型方法论:定约束、定档位、定框架、定参数四步决策法,配合入门、主力、质量、无损四档分层模型。以 Qwen3.8-27B 实测数据为例,逐环节解读显存、带宽、存储、散热、系统、预算等要素,给出面向不同预算的优选方案、决策自查清单与市场观察框架。文末前瞻 AI 笔记本的 CPU+GPU 与统一内存两条路线,论证四步决策法在新品类上的延续性。
|
7天前
|
Web App开发 人工智能 JavaScript
太猛了,一个月干到15W+,给大家推荐一个最近爆火的开源逆向工具:REA
REA(Reverse Engineer Anything)是近期爆火的开源AI逆向工具,4月发布,1个月内斩获15万+ Star。它让AI Agent无需源码即可分析二进制、APK、JS/Electron、HAR包等17类目标,自动反编译、生成可运行代码,并强制返回带证据与局限的结论。全本地执行,MIT协议,支持Hopper/Ghidra/IDA等引擎,一行命令即可上手。
747 2
太猛了,一个月干到15W+,给大家推荐一个最近爆火的开源逆向工具:REA
|
15天前
|
人工智能 JSON 自然语言处理
2026 年 Jev 决策模型深度拆解:原理解读、实战测评与保姆级落地教程
有一款特殊AI模型在开发者圈子刷屏,它摒弃传统大模型擅长的对话聊天能力,专注做高速结构化决策,它就是TypeSafe AI推出的Jev模型。该模型由ChatGPT共同发明人Diogo Almeida主导研发,定位为**System One Model(系统一模型)**,对标人类大脑快速直觉判断的思维模式,在响应延迟、调用成本、结构化输出稳定性上相比传统生成式大模型有着巨大差异。本文会完整拆解Jev底层原理、三大核心原语能力、适用业务场景,同时提供可直接运行的curl、Python代码示例,并且结合多组实测数据,客观分析模型优势与能力边界,帮助普通开发者和AI应用从业者快速上手落地。
1069 1