第107天: Python 解析 PDF

本文涉及的产品
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
简介: 第107天: Python 解析 PDF

上次给大家介绍了 Python 如何操作 Word 和 Excel ,而今天想为大家再介绍下,用 Python 如何解析 PDF ,PDF 格式不像前面两个那么规范,从它的表现来看,它更像是一张图片,在一张白纸上把内容摆放在固定的位置上,没有逻辑结构。不过还是那句话,可以先了解下都能实现什么功能,以备不时之需。


正是因为 PDF 没有统一的规范,也没有逻辑结构,比如句子或段落,并且不能自适应页面大小的调整。今天要介绍的 PDFMiner 尝试通过猜测它们的布局来重建它们的结构,但是并不能保证一定能识别成功,尤其是对图片和表格的识别处理会差一些。


安装 PDFMiner


解析 PDF 需要用到 pdfminer 库,目前最新版本只支持 Python3.6 及以上 ,执行如下安装命令:


$ pip3 install pdfminer
################# 运行结果 ################Collecting pdfminer  Downloading https://files.pythonhosted.org/packages/71/a3/155c5cde5f9c0b1069043b2946a93f54a41fd72cc19c6c100f6f2f5bdc15/pdfminer-20191125.tar.gz (4.2MB)     |████████████████████████████████| 4.2MB 2.8MB/s Collecting pycryptodome (from pdfminer)  Downloading https://files.pythonhosted.org/packages/cc/a6/f7e09ad45296eff20bd1db5aa14b1c9ea06826dd68eb2a7a27572c71d581/pycryptodome-3.9.4-cp37-cp37m-macosx_10_6_intel.whl (10.1MB)     |████████████████████████████████| 10.1MB 1.6MB/s Building wheels for collected packages: pdfminer  Building wheel for pdfminer (setup.py) ... done  Stored in directory: /Users/mjg/Library/Caches/pip/wheels/e1/00/af/720a55d74ba3615bb4709a3ded6dd71dc5370a586a0ff6f326Successfully built pdfminerInstalling collected packages: pycryptodome, pdfminerSuccessfully installed pdfminer-20191125 pycryptodome-3.9.4


OK,如果提示以上信息则安装成功。


解析概述


由于PDF文件有如此大和复杂的结构,完整解析 PDF 文件很费时费力的。


因此 PDFMiner 采用了一个懒惰分析的策略,就是只分析你所需要的部分。换句话就是说,根据你自己的需要只解释出你要的那部分就可以了。这里有两个核心类是必须的 PDFParserPDFDocument,除了这两个模块还有以下几个模块来配合使用。


模块名 说明
PDFParser 从文件中获取数据
PDFDocument 存储文档数据结构到内存中
PDFPageInterpreter 解析page内容
PDFDevice 把解析到的内容转化为你需要的东西
PDFResourceManager 存储共享资源,例如字体或图片等


下面这个图表示了 PDFMiner 各模块之间的关系,让我们能有个基本的认识:


image.png


基本用法

首先我准备了一个 pdf 格式的文档,内容基本如下图这样:



微信图片_20220211100150.jpg


下面这段代码给出了 PDFMiner 解析 PDF 文档的基本方法,首先打开 pdf 文件,创建解析对象,存储文档结构,创建资源管理对象以及共享资源,然后再创建 device 对象,最后再创建文档解析对象,并处理文档中的每一页。是不是看起来很复杂,不过确实也挺麻烦,还是让我们直接看代码吧。


# pdf_1.py
# 导入库from pdfminer.pdfparser import PDFParserfrom pdfminer.pdfdocument import PDFDocumentfrom pdfminer.pdfpage import PDFPagefrom pdfminer.pdfpage import PDFTextExtractionNotAllowedfrom pdfminer.pdfinterp import PDFResourceManagerfrom pdfminer.pdfinterp import PDFPageInterpreterfrom pdfminer.pdfdevice import PDFDevicefrom pdfminer.layout import LAParamsfrom pdfminer.converter import PDFPageAggregator
# 设置文档密码password = ''
#打开pdf文件fp = open('pdfminer.pdf','rb')
#从文件句柄创建一个pdf解析对象parser = PDFParser(fp)
#创建pdf文档对象,存储文档结构document = PDFDocument(parser,password)
#创建一个pdf资源管理对象,存储共享资源rsrcmgr = PDFResourceManager()
#创建一个device对象device = PDFDevice(rsrcmgr)
#创建一个解释对象interpreter = PDFPageInterpreter(rsrcmgr, device)
#处理包含在文档中的每一页for page in PDFPage.create_pages(document):    interpreter.process_page(page)


这样就完成了将页面对象加载的操作,下面通过命令 python pdf_1.py 运行程序,没有报错就说明页面信息已经成功加载至内存,然后我们就得想办法分别解析各类型信息,那都有哪些类型的对象呢?


解析对象


布局分析器把 pdf 文档中每一页返回为一个 LTPage 对象. 该对象包含该页面中的所有子对象,它们之间的关系大概如下图所示:


image.png


接下来我再列出一个表格具体说明下各对象:

对象名 对象说明 备注
LTPage 代表一个完整的页面,可以包含子对象 例如:LTTextBox,LTFigure,LTImage,LTRect,LTCurve和LTLine
LTTextBox 它包含 LTTextLine 对象的列表,代表一组被包含在矩形区域中的文本 注意:该box是根据几何学分析得到的,并不一定准确地表现为该文本的逻辑范围,get_text()方法可以返回文本内容
LTTextLine 包含一个LTChar对象的列表,表现为单行文本 字符表现为一行或一列,取决于文本书写方式,get_text()方法返回文本内容
LTChar 表示一个在文本中的真实的字母,作为一个unicode字符串 LTChar 对象有真实的分隔符
LTAnno 表示一个在文本中的真实的字母,作为一个unicode字符串 LTAnno 对象没有,是虚拟分隔符,按照两个字符之间的关系,布局分析器插入虚拟分隔符
LTFigure 表示一个被 PDF Form 对象使用的区域 pdf form适用于目前的图表(present figures)或者页面中植入的另一个pdf文档图片,LTFigure对象可以递归
LTImage 表示一个图形对象,可以是JPEG或者其他格式 但 PDFMiner 目前没有花太多精力在图形对象上
LTLine 表示一根直线 用来分割文本或图表(figures)
LTRect 表示一个矩形 用来框住别的图片或者图表
LTCurve 代表一个贝塞尔曲线


好了,了解以上对象都表示什么以后,现在我们写一段代码解析一个 pdf 并打印出来所解析的内容。


# pdf_2.py
# 导入库from pdfminer.pdfparser import PDFParserfrom pdfminer.pdfdocument import PDFDocumentfrom pdfminer.pdfpage import PDFPagefrom pdfminer.pdfpage import PDFTextExtractionNotAllowedfrom pdfminer.pdfinterp import PDFResourceManagerfrom pdfminer.pdfinterp import PDFPageInterpreterfrom pdfminer.pdfdevice import PDFDevicefrom pdfminer.layout import *from pdfminer.converter import PDFPageAggregator
# 提供初始密码password = ''# 没有密码可以初始密码# document.initialize()
#打开pdf文件fp = open('pdfminer.pdf','rb')
#从文件句柄创建一个pdf解析对象parser = PDFParser(fp)
#创建pdf文档对象,存储文档结构document = PDFDocument(parser, password)
#创建一个pdf资源管理对象,存储共享资源rsrcmgr = PDFResourceManager()
laparams = LAParams()
#创建一个device对象device = PDFPageAggregator(rsrcmgr, laparams=laparams)
#创建一个解释对象interpreter = PDFPageInterpreter(rsrcmgr, device)
#处理包含在文档中的每一页for page in PDFPage.create_pages(document):    interpreter.process_page(page)    layout = device.get_result()    for x in layout:        # 获取文本对象        if isinstance(x, LTTextBox):            print(x.get_text().strip())        # 获取图片对象        if isinstance(x,LTImage):            print('这里获取到一张图片')        # 获取 figure 对象        if isinstance(x,LTFigure):            print('这里获取到一个 figure 对象')


OK,这次我们把 pdf 文件加载到内存后,循环加载到每个页面对象,并遍历各个对象,使用 isinstance 方法判断对象的类型,将文本对象时直接打印出来,当为其他对象时打印一个字符串,返回结果如下图:


image.png


可以看出 PDFMiner 对文本的解析还是不错的,不过对图片的解析,正如官方文档所说,识别并不是很准确,这里将图片识别为了 figure 对象。另外对于表格的支持也不够好,虽然能读取出来表格内容,但完全看不出表格的样式来,后期还需要进一步处理。


总结


本文为大家介绍了 Python 中如何解析 PDF 文档,由于 PDF 并没有规范的格式,解析起来会比较复杂。当然除了 PDFMiner ,还有很多处理 pdf 的工具,各有优缺点,今天算是带大家入个门,就以 PDFMiner 为例做了一个简单介绍,如果想了解更多请参考文末官网介绍。


参考

python-pdfminer 官网:https://euske.github.io/pdfminer/

Python PDF Parser:https://github.com/euske/pdfminer

目录
相关文章
|
6天前
|
数据采集 供应链 API
Python爬虫与1688图片搜索API接口:深度解析与显著收益
在电子商务领域,数据是驱动业务决策的核心。阿里巴巴旗下的1688平台作为全球领先的B2B市场,提供了丰富的API接口,特别是图片搜索API(`item_search_img`),允许开发者通过上传图片搜索相似商品。本文介绍如何结合Python爬虫技术高效利用该接口,提升搜索效率和用户体验,助力企业实现自动化商品搜索、库存管理优化、竞品监控与定价策略调整等,显著提高运营效率和市场竞争力。
31 3
|
27天前
|
数据采集 JSON API
如何利用Python爬虫淘宝商品详情高级版(item_get_pro)API接口及返回值解析说明
本文介绍了如何利用Python爬虫技术调用淘宝商品详情高级版API接口(item_get_pro),获取商品的详细信息,包括标题、价格、销量等。文章涵盖了环境准备、API权限申请、请求构建和返回值解析等内容,强调了数据获取的合规性和安全性。
|
25天前
|
数据挖掘 vr&ar C++
让UE自动运行Python脚本:实现与实例解析
本文介绍如何配置Unreal Engine(UE)以自动运行Python脚本,提高开发效率。通过安装Python、配置UE环境及使用第三方插件,实现Python与UE的集成。结合蓝图和C++示例,展示自动化任务处理、关卡生成及数据分析等应用场景。
100 5
|
1月前
|
存储 缓存 Python
Python中的装饰器深度解析与实践
在Python的世界里,装饰器如同一位神秘的魔法师,它拥有改变函数行为的能力。本文将揭开装饰器的神秘面纱,通过直观的代码示例,引导你理解其工作原理,并掌握如何在实际项目中灵活运用这一强大的工具。从基础到进阶,我们将一起探索装饰器的魅力所在。
|
1月前
|
Android开发 开发者 Python
通过标签清理微信好友:Python自动化脚本解析
微信已成为日常生活中的重要社交工具,但随着使用时间增长,好友列表可能变得臃肿。本文介绍了一个基于 Python 的自动化脚本,利用 `uiautomator2` 库,通过模拟用户操作实现根据标签批量清理微信好友的功能。脚本包括环境准备、类定义、方法实现等部分,详细解析了如何通过标签筛选并删除好友,适合需要批量管理微信好友的用户。
60 7
|
2月前
|
XML 数据采集 数据格式
Python 爬虫必备杀器,xpath 解析 HTML
【11月更文挑战第17天】XPath 是一种用于在 XML 和 HTML 文档中定位节点的语言,通过路径表达式选取节点或节点集。它不仅适用于 XML,也广泛应用于 HTML 解析。基本语法包括标签名、属性、层级关系等的选择,如 `//p` 选择所有段落标签,`//a[@href='example.com']` 选择特定链接。在 Python 中,常用 lxml 库结合 XPath 进行网页数据抓取,支持高效解析与复杂信息提取。高级技巧涵盖轴的使用和函数应用,如 `contains()` 用于模糊匹配。
|
2月前
|
测试技术 开发者 Python
使用Python解析和分析源代码
本文介绍了如何使用Python的`ast`模块解析和分析Python源代码,包括安装准备、解析源代码、分析抽象语法树(AST)等步骤,展示了通过自定义`NodeVisitor`类遍历AST并提取信息的方法,为代码质量提升和自动化工具开发提供基础。
91 8
|
7月前
|
XML JavaScript 关系型数据库
Python XML 解析
Python XML 解析
|
8月前
|
XML JavaScript API
Python XML 解析
Python XML 解析
|
XML JavaScript 关系型数据库