企业给产品助手加图片或语音输入时,常见的一种失望是:用户传了截图,助手却只根据文字回答。问题往往不在模型看不看得懂,而在链路上——文件到了服务器,却被某一环静默丢掉,退化成纯文本。
把一次多模态输入拆成四段
“用户发了一张图”藏着四个独立事件:收到(文件到服务端,有接收回执)、转写(转成模型能消费的形式,图像不降级为纯文本)、喂给模型(内容进入本次请求上下文,走支持该形态的通道)、给出结论(回答建立在真实内容上,可追溯来源)。四段要分别验证,不能因为界面显示了缩略图就认为模型读到。
多模态进入企业应用是现象不是承诺
Salesforce 在 2026 年 11 月发布多模态决策模型 Koa Decisions,可接收文本、图像、音频并单步返回分类、判断或评分。报道提到约 26 毫秒路由延迟和 85.5% 意图路由准确率,但明确标注是厂商自测、非独立基准。引用它是说明“图像和音频进入企业 agent 路由”正成为现实需求,不是把数字当成任何产品的实测。看到“多模态模型”不等于你的应用已具备多模态能力;模型层能力、传输是否保留媒体、能力授权、计费是四件分别核实的事。
运行库里的真实边界
在已有 Node/Electron 产品里,Tansr 组织模型请求、工具调用和会话循环。发布包里有显式媒体工具、图文消息相关类型,也有转写、朗读等用户主动入口,需与会话配合、由应用显式选择并接线。但会话的“中途补充输入”接口当前不受理图片(image:false,内容仅纯文本或纯文本块),也不受理持久确认。不要指望用它传图,也不要静默降级:不支持的形态应明确报错并给出替代入口,而不是悄悄丢掉图片、只把文字交给模型。只需一次文字请求时,直接调用 API 更简单。
按四段分别验收
收到:上传后查接收回执;转写:抽查转换结果,图像不被换成文件名或空占位,语音有可用转写;喂给模型:用含明确文字或数字的图问一个只有真看图才能答对的问题;给出结论:回答可追溯,答不出时明确说明而非编造;失败路径:不支持形态显式报错,禁止静默退化为纯文本;归属与费用:模型、传输、能力授权和计费分别核对。