Vision Parse:开源的 PDF 转 Markdown 工具,结合视觉语言模型和 OCR,识别文本和表格并保持原格式

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介: Vision Parse 是一款开源的 PDF 转 Markdown 工具,基于视觉语言模型,能够智能识别和提取 PDF 中的文本和表格,并保持原有格式和结构。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

原文链接:https://mp.weixin.qq.com/s/IJoNBHpVIeue4ThHaVoF2Q


🚀 快速阅读

  1. 功能:将 PDF 文件转换为 Markdown 格式,支持文本和表格的智能提取。
  2. 技术:基于视觉语言模型和 OCR 技术,结合 NLP 进行语义分析。
  3. 应用:适用于文档转换、学术研究、法律文件处理等多个场景。

正文(附运行示例)

Vision Parse 是什么

公众号: 蚝油菜花 - vision-parse

Vision Parse 是一款基于视觉语言模型(Vision LLMs)的开源工具,专门用于将 PDF 文件转换为 Markdown 格式。它能够智能识别和提取 PDF 中的文本和表格,并在转换过程中尽量保持原有的格式和结构。

Vision Parse 支持多种视觉语言模型,如 OpenAI、LLama、Gemini 等,以提高解析的准确性和速度。用户可以通过 Python 环境安装并使用 Vision Parse,实现文档的高效转换。

Vision Parse 的主要功能

  • PDF 到 Markdown 转换:将 PDF 文件中的内容转换成 Markdown 格式,便于阅读和进一步编辑。
  • 内容提取:智能识别 PDF 中的文本和表格,并能准确提取。
  • 格式保持:在转换过程中,尽量保持原始 PDF 文件的格式和结构。
  • 多模型支持:支持多种视觉语言模型,如 OpenAI、LLama、Gemini 等,提高解析的准确性和速度。
  • 本地模型托管:支持用 Ollama 进行本地模型托管,实现安全的文档处理和离线使用。

Vision Parse 的技术原理

  • 视觉语言模型(Vision LLMs):基于视觉语言模型理解 PDF 文件中的文本和图像内容。
  • 光学字符识别(OCR):在处理 PDF 文件时,用 OCR 技术将图像中的文字转换为机器可读的文本数据。
  • 自然语言处理(NLP):将 OCR 转换的文本基于 NLP 技术进行进一步的处理和分析,来理解和提取文本的语义内容。

如何运行 Vision Parse

安装

首先,确保你的 Python 版本 >= 3.9。然后,使用 pip 安装 Vision Parse:

pip install vision-parse
AI 代码解读

如果需要使用 OpenAI 或 Gemini 模型,可以安装相应的依赖:

pip install 'vision-parse[openai]'
pip install 'vision-parse[gemini]'
AI 代码解读

基本使用示例

以下是一个简单的使用示例,展示如何将 PDF 文件转换为 Markdown 格式:

from vision_parse import VisionParser

# 初始化解析器
parser = VisionParser(
    model_name="llama3.2-vision:11b", # 对于本地模型,无需提供 API 密钥
    temperature=0.4,
    top_p=0.3,
    extraction_complexity=False # 设置为 True 以进行更详细的提取
)

# 转换 PDF 到 Markdown
pdf_path = "path/to/your/document.pdf"
markdown_pages = parser.convert_pdf(pdf_path)

# 处理结果
for i, page_content in enumerate(markdown_pages):
    print(f"\n--- Page {i+1} ---\n{page_content}")
AI 代码解读

使用 OpenAI 或 Gemini 模型

如果你希望使用 OpenAI 或 Gemini 模型,可以按照以下方式初始化解析器:

from vision_parse import VisionParser

# 使用 OpenAI 模型初始化解析器
parser = VisionParser(
    model_name="gpt-4o",
    api_key="your-openai-api-key", # 从 https://platform.openai.com/api-keys 获取 OpenAI API 密钥
    temperature=0.7,
    top_p=0.4,
    extraction_complexity=True # 设置为 True 以进行更详细的提取
)

# 使用 Google Gemini 模型初始化解析器
parser = VisionParser(
    model_name="gemini-1.5-flash",
    api_key="your-gemini-api-key", # 从 https://aistudio.google.com/app/apikey 获取 Gemini API 密钥
    temperature=0.7,
    top_p=0.4,
    extraction_complexity=True # 设置为 True 以进行更详细的提取
)
AI 代码解读

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

目录
打赏
0
19
19
3
341
分享
相关文章
Stirling-PDF:51.4K Star!用Docker部署私有PDF工作站,支持50多种PDF操作,从此告别在线工具
Stirling-PDF 是一款基于 Docker 的本地化 PDF 编辑工具,支持 50 多种 PDF 操作,包括合并、拆分、转换、压缩等,同时提供多语言支持和企业级功能,满足个人和企业用户的多样化需求。
100 6
Stirling-PDF:51.4K Star!用Docker部署私有PDF工作站,支持50多种PDF操作,从此告别在线工具
3.4K star!全能PDF处理神器开源!文档转换/OCR识别一键搞定
PDF-Guru 是一款开箱即用的全能型PDF处理工具,支持跨平台文档转换、智能OCR识别、多格式解析等核心功能。项目采用模块化架构设计,提供简洁的Web界面和API接口,开发者可快速集成到现有系统中。
【全自动改PDF名】批量OCR识别提取PDF自定义指定区域内容保存到 Excel 以及根据PDF文件内容的标题来批量重命名
学校和教育机构常需处理成绩单、报名表等PDF文件。通过OCR技术,可自动提取学生信息并录入Excel,便于统计分析和存档管理。本文介绍使用阿里云服务实现批量OCR识别、内容提取、重命名及导出表格的完整步骤,包括开通相关服务、编写代码、部署函数计算和设置自动化触发器等。提供Python示例代码和详细操作指南,帮助用户高效处理PDF文件。 链接: - 百度网盘:[链接](https://pan.baidu.com/s/1mWsg7mDZq2pZ8xdKzdn5Hg?pwd=8866) - 腾讯网盘:[链接](https://share.weiyun.com/a77jklXK)
86 5
【PDF提取全自动改名】如何批量提取PDF指定区域的文字内容,用内容批量给PDF命名或者导出表格,学会全自动解放双手
在生活和工作中,我们常需处理大量PDF文件,如银行单据、税收单据等。手动处理效率低下,而使用“咕嘎批量PDF多区域内容提取重命名导表格系统”可快速完成数千份文档的处理,大幅提高效率。该工具通过获取PDF各区域内容坐标,导入并处理文件,最终将信息提取至表格,并根据关键信息对PDF进行重命名,方便管理和查找。
86 2
对双栏 | 单双栏混合 | 图表文字混合的复杂布局的图片OCR识别(对布局复杂的整个pdf进行OCR识别)
这个故事告诉我们要多尝试不同的库和引擎,尤其是需求比较偏门或者少见的时候。同一个方向不同的库所擅长的领域是不一样的。 博客不应该只有代码和解决方案,重点应该在于给出解决方案的同时分享思维模式,只有思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~
【图片型PDF】批量识别扫描件PDF指定区域局部位置内容,将识别内容导出Excel表格或批量改名文件,基于阿里云OCR对图片型PDF识别改名案例实现
在医疗和政务等领域,图片型PDF文件(如病历、报告、公文扫描件)的处理需求广泛。通过OCR技术识别这些文件中的文字信息,提取关键内容并保存为表格,极大提高了信息管理和利用效率。本文介绍一款工具——咕嘎批量OCR系统,帮助用户快速处理图片型PDF文件,支持区域识别、内容提取、导出表格及批量改名等功能。下载工具后,按步骤选择处理模式、进行区域采样、批量处理文件,几分钟内即可高效完成数百个文件的处理。
163 8
Zerox:AI驱动的万能OCR工具,精准识别复杂布局并输出Markdown格式,支持PDF、DOCX、图片等多种文件格式
Zerox 是一款开源的本地化高精度OCR工具,基于GPT-4o-mini模型,支持PDF、DOCX、图片等多种格式文件,能够零样本识别复杂布局文档,输出Markdown格式结果。
216 4
Zerox:AI驱动的万能OCR工具,精准识别复杂布局并输出Markdown格式,支持PDF、DOCX、图片等多种文件格式
写作利器,一款极简的Markdown 编辑器
WeChat Markdown Editor 是一款高度简洁的微信 Markdown 编辑器:支持 Markdown 语法、色盘取色、多图上传、一键下载文档、自定义 CSS 样式、一键重置等特性。
134 70
写作利器,一款极简的Markdown 编辑器
Linux系统之部署轻量级Markdown文本编辑器
【10月更文挑战第6天】Linux系统之部署轻量级Markdown文本编辑器
282 1
Linux系统之部署轻量级Markdown文本编辑器
Markdown-to-Image:开源的在线 Markdown 转海报编辑器
Markdown-to-Image 是一款开源的在线 Markdown 转海报编辑器,能够将 Markdown 文本内容转换为图像,适用于创建社交媒体帖子、海报和其他视觉内容。该工具支持多种输出格式,并允许用户自定义样式,适用于多种应用场景。
300 4
Markdown-to-Image:开源的在线 Markdown 转海报编辑器

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等