发票、合同、商品图：多模态信息提取把手工录入变成流水线
一、前言
企业里最消耗人力的重复劳动之一，是“把图片和文档里的信息手工填进系统”：财务录发票、法务录合同要素、运营录商品属性。以前的做法是 OCR + 正则，遇到异形表格、手写字段、版式变化就崩。阿里云的多模态信息提取方案换了一个思路：直接把文档/图片/视频丢给多模态大模型，让它按你定义的字段结构输出 JSON。
二、方案怎么工作
方案的技术路径很务实：
- 入口：函数计算 FC 构建一个 Web 服务接收请求（也可以直接由程序调用）；
- 存文件：图片、文档上传到 OSS 对象存储；
- 提取：FC 把文件与提示词一并发给百炼，由其调用文本或多模态模型（如 qwen 系列）解析，返回结构化结果；
- 回传：结果返回业务系统入库，或回写 OSS。
方案提供文本、文档、图片 OCR、图片结构化属性、视频理解五类提取的现成示例，开箱就能试。
三、两个真能省钱的特性
第一，Batch 离线批处理。 不要求即时返回的任务（历史发票补录、存量商品图清洗），以文件方式提交批量任务，异步执行、24 小时内返回，费用为实时调用的 50%。存量数据处理这种一次性大活，走 Batch 能直接省一半。
第二，数据不搬家。 通过 OSS、AnalyticDB、MaxCompute 授权直接读取，不需要先把数据导到第三方平台，既省时间又降低合规风险——这一点对金融、医疗类客户尤其重要。
四、三个典型场景
- 财务发票/报销单：提取发票号、金额、税额、开票方，自动录入报销系统，财务只做校验不做录入；
- 合同要素抽取：提取甲乙双方、金额、付款条件、违约条款，入库形成合同台账，到期前自动提醒；
- 电商商品图：从商品图提取款式、材质、颜色等属性，丰富搜索标签，提升搜索相关性。
五、上手要点
- 字段定义要先行：先用 10 张样本图试，把要提取的字段和格式写成 JSON 示例放进提示词，模型输出稳定性会高很多；
- 先小批量验证准确率：拿 50~100 份真实样本跑一遍，算字段级准确率，再决定是否全量；
- 人工复核兜底：把模型置信度低的结果筛出来人工确认，比全人工快，比全自动稳；
- 存量走 Batch，增量走实时：两类任务分流，成本最优。
六、常见问题
Q：手写内容能识别吗？
A：多模态模型对手写有一定识别能力，但准确率受字迹影响较大，建议实测后再上线。
Q：版式经常变怎么办？
A：这正是大模型方案比固定模板 OCR 强的地方——只要字段含义不变，版式微调不影响提取。
Q：数据安全怎么保证？
A：文件存在自己的 OSS 里，授权访问，不经过第三方存储；具体合规要求按企业自身规范评估。
七、总结
多模态信息提取的价值不在“技术多新”，而在把非结构化数据变成可入库的结构化字段，且不用为每一种版式写一套规则。建议从一个高频且规则清晰的场景切入（比如发票），跑出准确率与人力节省的数据，再向合同、商品图推广。存量数据用 Batch 处理，成本直接减半。
打开链接后登录阿里云账号即可体验文本/图片/视频提取示例，费用以页面实时展示为准。
