PDF解析迎来技术革新!阿里新产品实现复杂文档端到端结构化处理

简介: 前言9月24日云栖大会现场,由阿里巴巴爱橙科技数据技术及产品团队自主研发的 PDF解析神器正式亮相并同步开源模型。这款基于Logics-Parsing模型构建的AI工具直指当前PDF解析领域的技术痛点,显著提升复杂文档的结构…

前言

9月24日云栖大会现场,由阿里巴巴爱橙科技数据技术及产品团队自主研发的PDF解析神器正式亮相并同步开源模型。这款基于Logics-Parsing模型构建的AI工具直指当前PDF解析领域的技术痛点,显著提升复杂文档的结构化处理能力。

PDF 文档作为各行业信息存储与传播的主要载体,通常包含丰富的多模态内容,如文本、图像、表格、数学公式等。不论是为了支持大语言模型(LLM)的训练、构建结构化知识库或是实现智能问答系统(如 RAG),都需要将 PDF 文档中的非结构化内容高效、准确地转换为结构化、机器可读的数据。因此,高质量的PDF 解析能力是支撑下游人工智能应用的关键基础。

然而,现有的 PDF 解析技术在处理复杂文档时仍存在显著缺陷。特别是在高信息密度、多栏布局、图文混排、嵌套表格等复杂场景下,传统方法普遍存在阅读顺序错误、表格结构还原不完整、公式识别错误等问题,严重影响了知识提取的准确性与可用性。

基于上述问题,数据技术及产品团队提出了Logics-Parsing——一个强大的开源文档解析模型。该模型基于Qwen2.5-VL架构,通过在监督微调中融入化学式、手写汉字等多样化数据类型,进一步提升了模型在文档解析领域的通用性。此外,该模型引入精心设计的奖励机制,以优化复杂布局分析和阅读顺序推断。

Logics-Parsing可以轻松理解复杂排版,在保留自然的阅读顺序的同时,精准提取文字、表格、公式、手写字、化学分子式等内容,将PDF或图片转化为qwen-html或mathpix-markdow格式,解决文档解析作为AI应用落地的"最后一公里"难题。团队在自建评测集上验证了Logics-Parsing模型在多种文档分析场景下的SOTA性能,该评测集专为评估模型在STEM学科文档和复杂排版的文档上的解析能力而设计,后续也会开源。

项目主页:

https://logics.alibaba-inc.com/parsing/

Demo地址:

https://www.modelscope.cn/studios/Alibaba-DT/Logics-Parsing/summary

Github:

https://github.com/alibaba/Logics-Parsing

核心亮点

轻松实现端到端处理

  • 端到端模型架构无需多阶段流水线处理,从文档图像一步到位生成结构化输出
  • 全局优化,在处理具有挑战性的布局的文档时表现优秀

先进的内容元素识别能力

  • 准确识别和结构化复杂内容,包括精确的科学公式、手写字等
  • 智能识别化学结构,并可将其表示为标准的 SMILES 格式

丰富的结构化输出

  • 生成 Qwen HTML 来表示文档,保留其逻辑结构和阅读顺序
  • 每个内容块(如段落、表格、图片、公式)都会被标记上其类别、边界框坐标和OCR 内容
  • 自动识别并过滤掉页眉、页脚等无关元素,仅关注核心内容

业界领先的性能表现 (SOTA)

  • 该产品在团队自建的PDF解析综合评测集上取得了业界最佳(SOTA) 的结果
  • 该评测集专为评估模型在 STEM 学科文档和复杂排版的文档上的解析能力而设计

实战案例

  • 数学公式复现:

实现复杂数学符号的语义级识别,精确复现上下标、运算符等元素的空间结构关系,确保复杂公式的语义完整性和格式还原度。

动图封面

动图封面

  • 化学分子式还原:
    精准解析原子连接拓扑与化学键类型,完整还原环状结构、官能团等特征的空间排布关系,支持转换输出为SMILES表达式。

动图封面

动图封面

  • 复杂表格解析:
    保留合并单元格,保持行列对应关系,输出结构化表格数据,避免字符粘连及错行等问题,可直接用于数据分析与可视化处理。

动图封面

动图封面

  • 手写文字识别:
    有效识别连笔字和个性化书写变体,支持印刷体与手写体混合识别,保留原始段落结构,适用于试卷批改、课堂笔记等典型场景。

动图封面

动图封面

ModelScope上在线体验

目前,该产品已上线ModelScope魔搭社区,面向所有用户开放体验。

产品地址🔗:
https://www.modelscope.cn/studios/Alibaba-DT/Logics-Parsing/summary

初次使用时,用户可直接进入产品首页点击“在线体验”按钮,系统已内置英文数学论文、化学试卷等多份不同类型pdf、png格式的样例模版作为参考,选择【Examples】中的任意样例后点击“Convert”即可开始解析,整个过程无需注册或上传文件,帮助用户快速熟悉流程,验证解析效果。

解析结果采用双栏可视化界面,左侧呈现原始文档,右侧实时显示渲染结果,并展示进度及耗时,方便校验内容,确保解析质量。输出格式支持qwen-html或mathpix-markdow解析格式,满足不同开发场景需求。

Github查看

用户现可前往GitHub获取Logics-Parsing模型及推理代码,如需了解更多细节,请参阅团队发布的技术报告。开源项目持续更新维护,欢迎开发者社区共同参与技术迭代。

目录
相关文章
|
缓存 自然语言处理 并行计算
腾讯自研 FastMTP 重磅开源:推理速度暴涨 203%,消费级显卡也能跑出无损速度翻倍!
腾讯自研 FastMTP 重磅开源:推理速度暴涨 203%,消费级显卡也能跑出无损速度翻倍!
1104 2
|
3月前
|
SQL 自然语言处理 文字识别
阿里云百炼知识库(Knowledge Studio):迈入 Agentic RAG 4.0时代
阿里云百炼Knowledge Studio(RAG 4.0)推出独立 Rag Agent服务,提供 Agentic Search + Agentic Generation 闭环方案。面向企业全模态多知识库场景,真正做到复杂知识搜得到、答得好、引用看得见。
1314 2
|
11月前
|
机器学习/深度学习 编解码 JSON
混元OCR模型宣布开源,参数仅1B,多项核心能力SOTA
腾讯混元推出全新开源OCR模型HunyuanOCR,仅1B参数,基于原生多模态架构,实现端到端高效推理。在复杂文档解析、文字检测识别等多场景表现卓越,支持14种小语种翻译,广泛适用于票据抽取、视频字幕识别等应用,多项指标达业界SOTA水平。
1205 8
|
8月前
|
人工智能 自然语言处理 运维
9.3k星Skill Seekers:一键把文档变成Claude技能,文档党狂喜
在GitHub刷到一个Python项目,叫 Skill Seekers。 9300多颗星,MIT开源。 核心功能:把文档网站、GitHub仓库、PDF一键转成Claude AI技能。 老金我第一反应:这不就是文档党的救星吗? 先说个背景。 Claude Code有个 技能系统,简单说就是你可以给Claude装"外挂"。 装了技能的Claude,就像一个背了参考书的助手——你说"帮我写个Nex
|
5月前
|
存储 人工智能 运维
深度回顾 | 阿里云携手 Elastic 定义 Agent 时代搜索新范式,解锁 Search AI 核心生产力
阿里云Elasticsearch升级为Agent Native搜索底座,推出Agentic Search、知识记忆湖、FalconSeek引擎及Hybrid Retrieval 2.0,实现面向AI智能体的毫秒级上下文检索,支持千亿级数据降本40%-70%,助力企业构建稳定、智能、低成本的下一代AI搜索基础设施。
600 0
|
分布式计算 测试技术 Spark
科大讯飞开源星火化学大模型、文生音效模型
近期,科大讯飞在魔搭社区(ModelScope)和Gitcode上开源两款模型:讯飞星火化学大模型Spark Chemistry-X1-13B、讯飞文生音频模型AudioFly,助力前沿化学技术研究,以及声音生成技术和应用的探索。
972 2
|
人工智能 自然语言处理 监控
110_微调数据集标注:众包与自动化
在大语言模型(LLM)的微调过程中,高质量的标注数据是模型性能提升的关键因素。随着模型规模的不断扩大和应用场景的日益多样化,如何高效、准确地创建大规模标注数据集成为了研究者和工程师面临的重要挑战。众包与自动化标注技术的结合,为解决这一挑战提供了可行的方案。
1397 2
|
10月前
|
机器学习/深度学习 JSON 文字识别
还在研究部署PaddleOCR?数眼智能OCR文档解析API上线:免费使用!
数眼智能推出新一代OCR文档解析API,突破传统OCR局限,融合多模态识别与深度学习,精准还原PDF、扫描件中的文字、表格、公式等结构,直接输出带层级的Markdown与JSON数据。实现标题、段落、表格自动分离,助力大模型知识库构建、金融报表分析、学术文献处理等场景,10秒内高效响应,让纸质文档秒变智能数据资产。
640 1
|
缓存 自然语言处理 数据可视化
阿里云百炼产品月刊【2025年7月】
阿里云百炼平台7月推出多项更新与活动,。通义大模型家族迎来五连发升级,推出Qwen-Plus-2025-07-28快照模型,支持1M上下文长度,新增Qwen3-Coder-Plus,具备强大Coding Agent能力。同时,通义万相2.2系列全面升级,文生图、文生视频能力大幅提升。多项模型限时优惠,Qwen3-Coder-Plus最高享5折,Qwen-Plus、Qwen-Turbo价格下调50%,Qwen-MT-Plus降价80%。应用模块新增UI设计器,支持可视化构建Web App。另有多种活动上线,包括Agent创客实训、Qwen3-Coder挑战赛及全栈焕新课程。
2017 2