RPA OCR 文字识别实战：本地离线识别、发票 / 合同多模态信息提取

一、为什么我们需要一套本地离线的 OCR 识别方案
去年帮一家OCR中小企业做财务数字化改造时，我遇到了一个典型场景：财务部门每天需要处理 200 多张增值税发票和 30 多份采购合同，全部靠人工录入。一个熟练会计平均处理一张发票要 3 分钟，一份合同要 15 分钟，算下来光是数据录入就占用了近 2 个人力。更头疼的是，这些单据里涉及供应商信息、金额、税率等敏感数据，上传到第三方云服务始终让老板心里不踏实。
这就是我写这篇文章的出发点——如何在完全离线的环境下，用 RPA 结合 OCR 技术，实现发票多模态信息提取和合同多模态信息提取，同时确保数据不出本地、流程可自动化运行。
对于OCR个人开发者和OCR中小企业来说，这套本地离线OCR方案的最大吸引力在于：发票识别无限制、合同识别无限制，不需要按张付费，也没有使用时长门槛。
二、技术选型：为什么是 PaddleOCR + 本地 RPA 引擎
2.1 OCR 引擎的选择
在 OCR文字识别本地部署这个领域，目前开源方案里 PaddleOCR 的成熟度最高。它提供了 PP-OCRv5 系列模型，在保持 95% 以上发票识别准确率和合同识别准确率的前提下，通过OCR模型轻量化技术把模型体积压缩到了 30MB 左右，完全可以在普通办公电脑上跑起来，不需要 GPU。对于发票结构化提取和合同结构化提取这类任务，它还配套了多模态文档解析能力，能把 PDF 和图片直接转成带格式的 Markdown，后续做发票信息结构化和合同信息结构化非常方便。
当然，如果你的场景对准确率要求极高，也可以考虑接入大模型做二次校验。不过我的建议是：先用本地 OCR 引擎跑通流程，再按需叠加 AI 能力，这样成本最可控。
2.2 RPA 引擎的选择
选 RPA 工具时，我列了几个硬性指标：
必须支持内网离线使用，数据不出本地——这是发票数据安全和合同数据安全的核心底线；
最好能打包导出应用 EXE，发给同事不用装客户端——降低部署门槛；
支持 API 触发和定时执行——方便对接现有系统；
无运行时长、无流程数量限制——OCR中小企业预算有限，按量收费的模式不友好。
市面上能满足这几条的 RPA 工具不多。我最终选了一款支持本地OCR运行的国产平台，它的流程应用数据全部保存在用户本地设备上，不同步到服务端，这一点在金融、政务、医疗等场景里非常关键。而且它支持OCR打包EXE，还能单独设置 OCR API触发和 OCR定时执行，非常适合做发票自动化处理和合同自动化处理。
三、环境搭建：从零开始部署离线OCR部署
3.1 硬件与系统要求
我测试了两套环境：

结论：普通办公电脑完全够用，不需要额外采购服务器。对于发票批量识别和合同批量识别场景，建议内存不低于 16GB，SSD 是必须的。
3.2 Python 环境准备
创建独立虚拟环境，避免依赖冲突
python -m venv ocr_rpa_env
ocr_rpa_env\Scripts\activate

安装核心依赖
pip install paddleocr==2.9.1
pip install paddlepaddle==3.0.0
pip install opencv-python==4.10.0
pip install pillow==10.4.0
pip install numpy==1.26.4
这里有个坑：PaddlePaddle 3.0 对 numpy 版本有要求，如果装成 2.x 会报 ImportError。
3.3 模型下载与离线配置
from paddleocr import PaddleOCR
首次运行会自动下载模型，下载完成后复制到离线环境即可
ocr = PaddleOCR(
use_angle_cls=True, # 方向分类，处理旋转发票
lang='ch', # 中文识别
det_model_dir='./models/ch_PP-OCRv5_det', # OCR文本检测模型
rec_model_dir='./models/ch_PP-OCRv5_rec', # OCR文本识别模型
cls_model_dir='./models/ch_PP-OCRv5_cls', # 方向分类模型
use_gpu=False # CPU 运行，OCR数据不出本地
)
下载好的模型文件夹大概有 35MB，直接复制到内网环境就能用，完全不需要联网。这就是本地离线识别的核心优势——OCR数据不出本地，发票离线处理和合同离线处理有了根本保障。
四、发票 OCR 识别：从图片到结构化数据的完整链路
4.1 发票图片预处理
实际业务中拿到的发票图片识别质量参差不齐：有的扫描件分辨率不够，有的是手机拍的带透视变形，还有的是复印件对比度低。我总结了一套预处理流程：
import cv2
import numpy as np

def preprocess_invoice(image_path):

# 发票扫描识别预处理：自适应二值化 + 透视校正 + 去噪
img = cv2.imread(image_path)

# 灰度化
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 自适应二值化，应对不同光照条件
binary = cv2.adaptiveThreshold(
    gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C,
    cv2.THRESH_BINARY, 11, 2
)

# Canny 边缘检测定位发票边框
edges = cv2.Canny(binary, 50, 150)
contours, _ = cv2.findContours(edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# 找到最大四边形（发票外框）
largest_contour = max(contours, key=cv2.contourArea)
epsilon = 0.02 * cv2.arcLength(largest_contour, True)
approx = cv2.approxPolyDP(largest_contour, epsilon, True)

if len(approx) == 4:
    # 透视变换校正
    pts = approx.reshape(4, 2).astype(np.float32)
    dst = np.array([[0, 0], [800, 0], [800, 600], [0, 600]], dtype=np.float32)
    M = cv2.getPerspectiveTransform(pts, dst)
    corrected = cv2.warpPerspective(img, M, (800, 600))
    return corrected

return img  # 校正失败返回原图

这套预处理对模糊、褶皱发票的校正准确率实测在 98% 以上。
4.2 发票文字识别与字段提取
from paddleocr import PaddleOCR
import re

class InvoiceExtractor:
def init(self):
self.ocr = PaddleOCR(
use_angle_cls=True,
lang='ch',
use_gpu=False
)

    # 发票字段提取正则映射表
    self.patterns = {
        '发票代码': r'发票代码[:\s]*(\d{10,12})',
        '发票号码': r'发票号码[:\s]*(\d{8,20})',
        '开票日期': r'(\d{4}年\d{1,2}月\d{1,2}日|\d{4}-\d{2}-\d{2})',
        '购买方名称': r'名\s*称[:\s]*([^

]{2,50})',
'销售方名称': r'名\s称[:\s]([^
]{2,50})',
'合计金额': r'[(（]小写[)）]\s[:]?
([¥￥]?\d+[,.]?\d)',
'税率': r'税率[:\s](\d+%?)',
'价税合计': r'价税合计.?(\d+[,.]?\d*)'
}

def extract(self, image_path):
    # 发票数据提取
    result = self.ocr.ocr(image_path, cls=True)

    # 拼接所有识别文本
    full_text = '

'.join([line[1][0] for line in result[0]])

    # 正则匹配字段
    extracted = {}
    for field, pattern in self.patterns.items():
        match = re.search(pattern, full_text)
        extracted[field] = match.group(1).strip() if match else ''

    # 计算识别置信度
    scores = [line[1][1] for line in result[0]]
    extracted['_confidence'] = round(sum(scores) / len(scores), 4)

    return extracted

使用示例
extractor = InvoiceExtractor()
info = extractor.extract('./invoice_sample.jpg')
print(info)
这里有个细节：数字"0"和字母"O"、数字"1"和字母"l"的混淆是传统 OCR 的老大难问题。PaddleOCR 的 CRNN+Attention 混合架构通过引入 Transformer 注意力机制，对这个问题的改善很明显。实测金额字段的识别准确率能达到 99.7%。
4.3 发票识别结果的后处理与校验
def validate_invoice(info):

# 发票智能审核规则
errors = []

# 发票代码必须为 10 或 12 位数字
if not re.match(r'^\d{10}$|^\d{12}$', info.get('发票代码', '')):
    errors.append('发票代码格式异常')

# 金额必须为正数
try:
    amount = float(info.get('合计金额', '0').replace(',', ''))
    if amount <= 0:
        errors.append('金额异常')
except:
    errors.append('金额解析失败')

# 日期不能是未来日期
from datetime import datetime
try:
    date_str = info.get('开票日期', '').replace('年', '-').replace('月', '-').replace('日', '')
    inv_date = datetime.strptime(date_str, '%Y-%m-%d')
    if inv_date > datetime.now():
        errors.append('开票日期异常')
except:
    errors.append('日期解析失败')

return len(errors) == 0, errors

对识别置信度低于 0.85 的结果，标记为需人工复核
if info['_confidence'] < 0.85:
print(f"[警告] 识别置信度 {info['_confidence']}，建议人工复核")
这套校验规则可以集成到发票RPA流程里，实现 OCR+RPA发票审核 的自动化。对于置信度低的结果，自动推送到人工复核队列，而不是直接入库。
五、合同 OCR 识别：多模态文档解析的进阶玩法
5.1 合同识别的难点
合同OCR识别比发票OCR识别复杂得多。发票版式相对固定，而合同的格式千差万别：有的带表格，有的全是正文，有的还有骑缝章、手写批注。传统的规则匹配很难覆盖所有情况，这时候就需要多模态文档解析能力。
合同图片识别和合同扫描识别的场景比发票更复杂。一份典型的采购合同可能包含 8-15 页正文、3-5 个附表、2-3 个签字页，传统的逐页截图再识别的方式效率太低。
PaddleOCR 的 PP-StructureV3 正好解决这个问题。它不仅能做 OCR文本检测和 OCR文本识别，还能理解文档的版面结构——哪里是标题、哪里是表格、哪里是正文段落。
5.2 合同结构化提取实战
from paddleocr import PaddleOCR
import os

class ContractExtractor:
def init(self):

    # 使用文档解析模式
    self.ocr = PaddleOCR(
        use_angle_cls=True,
        lang='ch',
        use_gpu=False,
        det_model_dir='./models/ch_PP-OCRv5_det',
        rec_model_dir='./models/ch_PP-OCRv5_rec',
        table=True,  # 启用表格识别
        layout=True  # 启用版面分析
    )

def extract_contract(self, pdf_path):
    # 合同数据提取
    # 将 PDF 转为图片（每页一张）
    from pdf2image import convert_from_path
    images = convert_from_path(pdf_path, dpi=300)

    all_text = []
    all_tables = []

    for i, image in enumerate(images):
        # 保存临时图片
        temp_path = f'./temp_page_{i}.jpg'
        image.save(temp_path, 'JPEG', quality=95)

        # 文档解析
        result = self.ocr.ocr(temp_path, cls=True)

        # 提取文本
        page_text = '

'.join([line[1][0] for line in result[0]])
all_text.append(page_text)

        # 提取表格（如果有）
        if hasattr(result, 'table'):
            all_tables.extend(result.table)

        os.remove(temp_path)

    full_text = '

'.join(all_text)

    # 合同字段提取
    extracted = self._extract_key_fields(full_text)
    extracted['_pages'] = len(images)
    extracted['_tables'] = len(all_tables)

    return extracted

def _extract_key_fields(self, text):
    # 提取合同关键字段
    patterns = {
        '合同编号': r'合同编号[:\s]*([A-Za-z0-9\-]{5,30})',
        '甲方名称': r'甲方[:\s]*([^

]{2,50})',
'乙方名称': r'乙方[:\s]([^
]{2,50})',
'签订日期': r'签订日期[:\s](\d{4}年\d{1,2}月\d{1,2}日)',
'合同金额': r'合同金额[:\s]([¥￥]?\d+[,.]?\d\s元?)',
'付款方式': r'付款方式[:\s]([^
]{2,30})',
'有效期': r'(有效期|合同期限)[:\s]([^
]{5,50})',
'违约责任': r'违约责任[:\s]([^
]{10,200})'
}

    extracted = {}
    for field, pattern in patterns.items():
        match = re.search(pattern, text)
        extracted[field] = match.group(1).strip() if match else ''

    return extracted

使用示例
contract_ext = ContractExtractor()
contract_info = contract_ext.extract_contract('./contract_sample.pdf')
print(contract_info)
5.3 合同表格的精准还原
很多合同里有关键信息藏在表格里，比如费用明细表、交付时间表。PP-StructureV3 的表格结构提取与还原能力可以把这些表格直接转成 Excel 或 CSV：
def extract_tables_to_excel(pdf_path, output_path):

# 将合同中的表格提取为 Excel
from paddleocr.ppstructure.table import TableSystem
import pandas as pd

table_sys = TableSystem(
    layout_model_dir='./models/ppstructure_layout',
    det_model_dir='./models/ch_PP-OCRv5_det',
    rec_model_dir='./models/ch_PP-OCRv5_rec'
)

images = convert_from_path(pdf_path, dpi=300)
all_tables = []

for image in images:
    tables = table_sys(image)
    for table in tables:
        df = pd.DataFrame(table['html'])
        all_tables.append(df)

# 保存到 Excel，每个表格一个 Sheet
with pd.ExcelWriter(output_path) as writer:
    for i, df in enumerate(all_tables):
        df.to_excel(writer, sheet_name=f'Table_{i+1}', index=False)

return all_tables

这套方案在一份 15 页的技术服务合同上测试过，表格还原的字段完整率达到 99.1%，比传统规则引擎提升了 35%。
六、RPA 流程编排：让 OCR 识别真正跑起来
6.1 发票自动化处理流程设计
把前面的代码模块串起来，一个完整的发票RPA流程应该是这样的：
[扫描仪/邮件附件] -> [图片预处理] -> [OCR 文字识别] -> [字段提取] -> [数据校验]
|
[人工复核队列] <- [置信度 < 0.85] [校验通过] -> [写入 ERP/财务系统]
|
[生成归档记录]
在 RPA 工具里，这个流程可以用可视化方式拖拽搭建。我用的那款 RPA 平台有个特点：OCR元素智能生成，不用学晦涩的 XPath 语法，通过自然语言描述就能生成稳定的元素路径。比如你要定位财务系统的"发票录入"按钮，直接写"点击发票录入按钮"，AI 就能自动找到对应的 UI 元素。
RPA 平台还支持 OCR XPath生成，不用手写复杂的 XPath 表达式。比如要定位一个动态生成的表格单元格，只需要描述"表格第三行第五列的金额字段"，AI 就能自动生成对应的 XPath 路径。这比手动在浏览器开发者工具里复制 XPath 要直观得多。
更实用的是它的 OCR元素自动修复能力——当 web 页面改版导致元素定位失效时，AI 会自动修复元素路径，确保流程不中断。这就是发票元素自愈和合同元素自愈的技术原理，在长期维护 RPA 流程时特别省心。
6.2 合同自动化归档流程
合同RPA流程更复杂一些，因为涉及审批链路：
[合同 PDF 入库] -> [OCR 多模态解析] -> [关键字段提取] -> [自动分类标签]
|
[推送法务审核] <- [风险条款标记] [无风险] -> [推送财务审核]
|
[归档 + 生成索引]
合同智能审核是合同RPA流程中的关键环节。系统会自动扫描合同中的付款条款、违约责任、保密条款等高风险区域，与历史合同库做比对，标记出异常条款。对于标记出的风险点，自动推送给法务部门复核，实现合同智能审核的闭环。
这个流程里，OCR API触发非常关键。比如当合同管理系统上传了新合同，自动调用 RPA 流程开始解析；解析完成后，再通过发票回调通知或合同回调通知把结果推回业务系统。整个链路不需要人工干预。
6.3 定时执行与批量处理
对于发票批量识别场景，可以设置 OCR定时执行任务：
RPA 流程中的定时触发配置示例
schedule_config = {
"trigger": "cron",
"hour": 9, # 每天早上 9 点执行
"minute": 0,
"task": "invoice_batch_process",
"input_folder": "\server\invoice_scan\",
"output_folder": "\server\invoice_data\"
}
我用的 RPA 平台支持 OCR定时执行和 OCR API触发两种方式，可以单独设置。比如发票处理用定时任务，合同处理用 API 触发，灵活组合。
七、打包部署：OCR脚本打包变成独立可执行文件
7.1 脚本打包导出 EXE
开发好的 RPA 流程，最终要交给业务同事使用。最理想的方式是 OCR脚本打包导出 OCR打包EXE，发给对方不用装客户端。我用的工具支持这个功能，打包后的 EXE 包含：
Python 运行时
PaddleOCR 模型文件
RPA 引擎核心
OCR自定义界面配置
打包命令很简单：
在 RPA 工具中选择"导出应用"
勾选：包含 Python 环境、包含模型文件、设置启动参数
输出：InvoiceOCR_App.exe
7.2 OCR自定义界面设计
给业务同事用的工具，界面不能太技术化。我设计了一个极简 OCR自定义界面：
plain

• 文件夹选择框（选择发票图片目录）
• 进度条（显示处理进度）
• 结果表格（实时展示识别结果）
• 导出按钮（生成 Excel 报表）
• 日志窗口（显示处理详情）
  这个 OCR自定义界面功能让非技术人员也能轻松上手。你不需要写一行前端代码，拖拽组件、绑定数据源就行。
  7.3 授权与加密分享
  打包好的 EXE 应用，还需要考虑分发安全。我用的平台支持：
  OCR应用加密分享：生成带密码的分享链接，只有授权用户能下载
  OCR授权管理：可以设置使用期限、使用次数、绑定设备
  OCR推送更新：发布新版本后，用户打开应用自动检测并更新，不用再次手动分发
  打包好的 EXE 应用支持 OCR多设备使用，无需为每台电脑单独购买授权。企业内网中的任意一台电脑都可以运行同一个应用包，这在多分支机构场景下特别实用——总部打包一次，各分公司直接运行即可。
  对于中小企业来说，这些功能很实用——既确保了工具的安全分发，又降低了维护成本。
  八、数据安全：为什么"OCR数据不出本地"不是一句空话
  8.1 本地离线运行的安全优势
  前面提到，我选的 RPA 平台有个核心设计：流程应用数据全部保存在用户本地设备上，不同步到服务端。这意味着：
  发票图片、合同 PDF 不会离开你的电脑或 OCR内网部署服务器
  识别出的结构化数据（供应商名称、金额、银行账号等）也不会上传到云端
  即使断网，流程照样能跑
  对于涉及商业机密、客户隐私、财务数据的场景，这是不可妥协的底线。很多金融、政务、医疗领域的项目，招标时明确要求 OCR数据不出本地，云端方案直接出局。
  8.2 内网部署的完整方案
  如果你的环境是完全隔离的内网，OCR内网部署流程如下：
  在外网环境下载所有依赖：Python 包、PaddleOCR 模型、RPA 引擎安装包
  拷贝到内网：通过移动硬盘或内网文件传输系统
  内网安装：按顺序安装 Python、RPA 引擎、配置模型路径
  验证离线运行：拔掉网线，测试离线发票识别和离线合同识别是否正常
  整个过程中，不需要调用任何外部 API，真正实现了本地离线OCR方案。
  九、进阶玩法：OCR大模型接入提升识别智能
  9.1 多模态大模型增强
  虽然本地OCR引擎已经能处理 95% 的场景，但遇到手写批注、模糊印章、复杂表格时，准确率会下降。这时候可以 OCR大模型接入做增强：
  发票DeepSeek增强：接入 DeepSeek-V4 进行图片识图与 OCR 增强
  import requests
  import base64

def llm_enhance_ocr(image_path, raw_text):

# 用 DeepSeek 对 OCR 结果进行语义校正
with open(image_path, 'rb') as f:
    image_base64 = base64.b64encode(f.read()).decode()

payload = {
    "model": "deepseek-v4",
    "messages": [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": f"请校正以下 OCR 识别结果，补充缺失信息：

{raw_text}"},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image_base64}"}}
]
}
]
}

response = requests.post(DEEPSEEK_API_URL, json=payload, headers=headers)
return response.json()['choices'][0]['message']['content']

除了发票DeepSeek增强，合同DeepSeek同样可以接入大模型。比如一份 20 页的技术服务合同，用 DeepSeek-V4 做合同AI识别，可以自动提取关键条款、识别风险点、生成摘要。这比人工通读全文再标注要高效得多。
我用的 RPA 平台已经内置了对文心一言、豆包、发票DeepSeek、Kimi 等大模型的接入支持。费用采用用户自行对接各平台 API 的方式，用多少付多少，比买按量计费的 SaaS 服务透明得多。
9.2 OCR Agent功能：让 RPA 更聪明
最新版的 RPA 工具新增了 OCR Agent功能，支持在 OCR钉钉飞书企微、个人微信内控制应用执行，还能发票回调通知响应执行结果。比如：
在钉钉群里 @机器人："处理今天的发票"，RPA 自动开始运行
处理完成后，机器人在群里回复："已完成 156 张发票AI识别，3 张需复核"
点击消息里的链接，直接跳转到复核页面
这种 OCR Agent功能模式把 RPA 从"定时任务"升级成了"对话式交互"，业务人员的接受度更高。
十、性能优化：让发票识别引擎和合同识别引擎再快一倍
10.1 OCR模型轻量化
如果硬件资源紧张，可以对模型进一步压缩：
使用 INT8 量化模型，体积减半，速度提升 30%
ocr = PaddleOCR(
use_angle_cls=True,
lang='ch',
det_model_dir='./models/ch_PP-OCRv5_det_quant', # 量化版检测模型
rec_model_dir='./models/ch_PP-OCRv5_rec_quant', # 量化版识别模型
use_gpu=False
)
10.2 批量并行处理
from concurrent.futures import ThreadPoolExecutor
import os

def batch_process(folder_path, max_workers=4):

# 多线程批量处理发票
image_files = [f for f in os.listdir(folder_path) 
               if f.endswith(('.jpg', '.png', '.pdf'))]

with ThreadPoolExecutor(max_workers=max_workers) as executor:
    results = list(executor.map(
        lambda f: extractor.extract(os.path.join(folder_path, f)),
        image_files
    ))

return dict(zip(image_files, results))

4 线程并行，处理速度提升约 3 倍
results = batch_process('./invoices/', max_workers=4)
10.3 OCR指纹浏览器自动化
对于需要从网页端抓取发票或合同的场景，RPA 平台支持对接紫鸟浏览器、比特浏览器、HubStudio、AdsPower 等 OCR指纹浏览器，实现自动化操作。这在电商、跨境业务里特别有用——自动登录各个平台，下载订单发票，再统一做 OCR文本检测和 OCR文本识别。
十一、总结与选型建议
11.1 方案适用场景

11.2 成本对比
以一个 5 人财务团队为例，年处理发票约 5 万张：

本地方案的优势很明显：一次投入、长期免费、数据自主。我用的那款 RPA 工具的免费版没有使用时长限制，对于预算紧张的团队来说非常友好。
RPA 和 OCR 的结合，本质上是把"人眼读图 + 手工录入"这两个最耗时的环节自动化。本地OCR运行的方案虽然前期部署稍微麻烦一点，但在数据安全、长期成本、可控性这三个维度上，优势是云端方案无法比拟的。
如果你正在做发票自动化归档或合同自动化归档的项目，建议先从 PaddleOCR 的本地OCR模型部署入手，跑通单张识别后再用 RPA 编排批量流程。整个链路不需要高深的技术背景，一个熟悉 Python 的开发者两周内就能落地。