SmolDocling:256M多模态小模型秒转文档!开源OCR效率提升10倍

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介: SmolDocling 是一款轻量级的多模态文档处理模型,能够将图像文档高效转换为结构化文本,支持文本、公式、图表等多种元素识别,适用于学术论文、技术报告等多类型文档。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦


📄 "学术狗集体泪目!这个AI把论文截图秒变Markdown,公式表格全保留"

大家好,我是蚝油菜花。当同行还在为PDF转Word格式错乱抓狂时,这个开源神器已经让文档处理进入光速时代!

你是否经历过这些窒息操作:

  • 🔍 手动整理论文截图里的公式,眼瞎三回还没对齐
  • ⏳ 等传统OCR识别表格,咖啡凉了进度条才走一半
  • 💻 跑个文档模型显卡咆哮如直升飞机...

今天要吹爆的 SmolDocling ,正在重新定义文档处理标准!这个仅256M参数的开源核弹,用三大绝技炸穿行业天花板:

  • 闪电转换:A100显卡0.35秒/页,比传统OCR快10倍
  • 元素全捕获:公式/图表/代码块智能识别,LaTeX直接输出
  • 零门槛部署:500MB显存即可运行,MacBook都能流畅跑

已有实验室用它1小时处理完200篇文献,文末附《科研狗效率翻倍指南》——你的文献库准备好迎接降维打击了吗?

🚀 快速阅读

SmolDocling 是一款轻量级的多模态文档处理模型,能够高效地将图像文档转换为结构化文本。

  1. 核心功能:支持文本、公式、图表等多种元素识别,适用于学术论文、技术报告等多类型文档。
  2. 技术原理:采用 SigLIP base patch-16/512 作为视觉骨干网络,使用 SmolLM-2 作为文本编码器,支持多模态融合与输出。

SmolDocling 是什么

SmolDocling

SmolDocling(SmolDocling-256M-preview )是高效轻量级的多模态文档处理模型。能将文档图像端到端地转换为结构化文本,支持文本、公式、图表等多种元素识别,适用于学术论文、技术报告等多类型文档。模型参数量仅 256M,推理速度快,A100 GPU 上每页处理仅需 0.35 秒,与 Docling 完全兼容,可导出多种格式。

SmolDocling 的主要功能

  • 多模态文档转换:能将图像文档高效转换为结构化文本,支持科学和非科学文档。
  • 快速推理:在 A100 GPU 上处理一页文档仅需 0.35 秒,使用不到 500MB 的显存。
  • OCR 与布局识别:支持光学字符识别(OCR),保留文档结构和元素的边界框。
  • 复杂元素识别:能识别代码块、数学公式、图表、表格等复杂文档元素。
  • 与 Docling 无缝集成:支持将结果转换为多种格式(如 Markdown、HTML 等),兼容 Docling。
  • 指令支持:支持多种指令,如将页面转换为 Docling 格式、将图表转换为表格、将公式转换为 LaTeX 等。

SmolDocling 的技术原理

  • 轻量级设计:SmolDocling-256M-preview 是仅包含 256M 参数的视觉语言模型,专为文档光学字符识别(OCR)和转换而设计。能在消费级 GPU 上快速处理文档,使用不到 500MB 的显存,每页文档的处理时间仅需 0.35 秒。
  • 视觉骨干网络:模型采用了 SigLIP base patch-16/512 作为视觉骨干网络,网络参数量为 93M,能高效地处理图像输入。通过像素压缩技术,每个 512×512 的图像块被压缩为 64 个视觉标记,显著降低了计算资源需求。
  • 文本编码器:SmolDocling-256M-preview 使用 SmolLM-2 作为文本编码器,编码器参数量为 135M,能处理文本输入并与视觉信息进行融合。
  • 多模态融合与输出:模型能接收图像和文本的多模态输入,生成结构化的文本输出。支持多种文档处理功能,包括将文档图像转换为结构化文本、提取图表和表格信息、将数学公式转换为 LaTeX 格式等。
  • 优化的数据集与训练策略:SmolDocling-256M-preview 的训练数据集包括科学和非科学文档,文档理解占比达到 41%。训练过程中采用了更高的像素标记率(4096 像素/标记),相比之前的 1820 像素/标记,显著提升了效率。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦

相关文章
|
20天前
|
人工智能 自然语言处理 IDE
模型微调不再被代码难住!PAI和Qwen3-Coder加速AI开发新体验
通义千问 AI 编程大模型 Qwen3-Coder 正式开源,阿里云人工智能平台 PAI 支持云上一键部署 Qwen3-Coder 模型,并可在交互式建模环境中使用 Qwen3-Coder 模型。
276 109
|
1月前
|
人工智能 算法 开发者
开源VLM“华山论剑”丨AI Insight Talk多模态专场直播预告
开源VLM“华山论剑”丨AI Insight Talk多模态专场直播预告
196 10
开源VLM“华山论剑”丨AI Insight Talk多模态专场直播预告
|
13天前
|
机器学习/深度学习 数据采集 人工智能
通义实验室Mobile-Agent-v3开源,全平台SOTA的GUI智能体,支持手机电脑等多平台交互
近日,通义实验室MobileAgent团队正式开源全新图形界面交互基础模型 GUI-Owl,并同步推出支持多智能体协同的自动化框架 Mobile-Agent-v3。该模型基于Qwen2.5-VL打造,在手机端与电脑端共8个GUI任务榜单中全面刷新开源模型性能纪录,达成全平台SOTA。
162 2
|
26天前
|
存储 人工智能 自然语言处理
告别文字乱码!全新文生图模型Qwen-Image来咯
通义千问团队开源了Qwen-Image,一个20B参数的MMDiT模型,具备卓越的文本渲染和图像编辑能力。支持复杂中英文文本生成与自动布局,适用于多场景图像生成与编辑任务,已在魔搭社区与Hugging Face开源。
295 2
|
1月前
|
文字识别 算法 语音技术
基于模型蒸馏的大模型文案生成最佳实践
本文介绍了基于模型蒸馏技术优化大语言模型在文案生成中的应用。针对大模型资源消耗高、部署困难的问题,采用EasyDistill算法框架与PAI产品,通过SFT和DPO算法将知识从大型教师模型迁移至轻量级学生模型,在保证生成质量的同时显著降低计算成本。内容涵盖教师模型部署、训练数据构建及学生模型蒸馏优化全过程,助力企业在资源受限场景下实现高效文案生成,提升用户体验与业务增长。
336 23
|
1月前
|
数据采集 机器学习/深度学习 编解码
小红书 hi lab开源最强多模态大模型dots.vlm1,性能对标闭源 Gemini 2.5 Pro 和 Seed-VL1.5
小红书 hi lab开源最强多模态大模型dots.vlm1,性能对标闭源 Gemini 2.5 Pro 和 Seed-VL1.5
286 0
小红书 hi lab开源最强多模态大模型dots.vlm1,性能对标闭源 Gemini 2.5 Pro 和 Seed-VL1.5
|
1月前
|
人工智能 JavaScript 测试技术
Cradle:颠覆AI Agent 操作本地软件,AI驱动的通用计算机控制框架,如何让基础模型像人一样操作你的电脑?
Cradle 是由 BAAI‑Agents 团队开源的通用计算机控制(GCC)多模态 AI Agent 框架,具备视觉输入、键鼠操作输出、自主学习与反思能力,可操作各类本地软件及游戏,实现任务自动化与复杂逻辑执行。
178 6
|
1月前
智谱发布GLM-4.5V,全球开源多模态推理新标杆,Day0推理微调实战教程到!
视觉语言大模型(VLM)已经成为智能系统的关键基石。随着真实世界的智能任务越来越复杂,VLM模型也亟需在基本的多模态感知之外,逐渐增强复杂任务中的推理能力,提升自身的准确性、全面性和智能化程度,使得复杂问题解决、长上下文理解、多模态智能体等智能任务成为可能。
358 0
|
1月前
|
编解码 算法 测试技术
MiniCPM-V4.0开源,多模态能力进化,手机可用,还有最全CookBook!
今天,面壁小钢炮新一代多模态模型 MiniCPM-V 4.0 正式开源。依靠 4B 参数,取得 在 OpenCompass、OCRBench、MathVista 等多个榜单上取得了同级 SOTA 成绩,且 实现了在手机上稳定、丝滑运行。此外,官方也正式开源了 推理部署工具 MiniCPM-V CookBook,帮助开发者面向不同需求、不同场景、不同设备,均可实现开箱即用的轻量、简易部署。
283 0

热门文章

最新文章