一、OCR概念及发展

OCR （Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，经过检测暗、亮的模式肯定其形状，而后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并经过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。如何除错或利用辅助信息提升识别正确率，是OCR最重要的课题，ICR（Intelligent Character Recognition）的名词也随之产生。

简单来说，OCR识别就是光学文字识别，是指通过图像处理和模式识别技术对光学的字符进行识别。**它是计算机视觉研究领域的分支之一，是计算机科学的重要组成部分。衡量一个OCR系统性能好坏的主要指标有：拒识率、误识率、识别速度、用户界面的友好性，产品的稳定性，易用性及可行性等。

二、OCR发展

OCR的概念是在1929年由德国科学家Tausheck最早提出来的，后来美国科学家Handel也提出了利用技术对文字进行识别的想法。而最先对印刷体汉字识别进行研究的是IBM公司的Casey和Nagy，1966年他们发表了第一篇关于汉字识别的文章，采用了模板匹配法识别了1000个印刷体汉字。

早在60、70年代，世界各国就开始有OCR的研究，而研究的初期，多以文字的识别方法研究为主，且识别的文字仅为0至9的数字。以一样拥有方块文字的日本为例，1960年左右开始研究OCR的基本识别理论，初期以数字为对象，直至1965至1970年之间开始有一些简单的产品，如印刷文字的邮政编码识别系统，识别邮件上的邮政编码，帮助邮局做区域分信的做业；也所以至今邮政编码一直是各国所倡导的地址书写方式。

20世纪70年代初，日本的学者开始研究汉字识别，并作了大量的工做。中国在OCR技术方面的研究工做起步较晚，在70年代才开始对数字、英文字母及符号的识别进行研究，70年代末开始进行汉字识别的研究，到1986年，我国提出“863”高新科技研究计划，汉字识别的研究进入一个实质性的阶段，清华大学的丁晓青教授和中科院分别开发研究，相继推出了中文OCR产品，现为中国最领先汉字OCR技术。早期的OCR软件，因为识别率及产品化等多方面的因素，未能达到实际要求。同时，因为硬件设备成本高，运行速度慢，也没有达到实用的程度。只有个别部门，如信息部门、新闻出版单位等使用OCR软件。进入20世纪90年代之后，随着平台式扫描仪的普遍应用，以及我国信息自动化和办公自动化的普及，大大推进了OCR技术的进一步发展，使OCR的识别正确率、识别速度知足了广大用户的要求。

三、OCR的应用场景

根据OCR的应用场景而言，我们可以大致分成识别特定场景下的专用OCR以及识别多种场景下的通用OCR。就前者而言，证件识别以及车牌识别就是专用OCR的典型案例。针对特定场景进行设计、优化以达到最好的特定场景下的效果展示。那通用的OCR就是使用在更多、更复杂的场景下，拥有比较好的泛性。在这个过程中由于场景的不确定性，比如：图片背景极其丰富、亮度不均衡、光照不均衡、残缺遮挡、文字扭曲、字体多样等等问题，会带来极大的挑战。

文档文字识别：可以将图书馆、报社、博物馆、档案馆等的纸质版图书、报纸、杂志、历史文献档案资料等进行电子化管理，实现精准地保存文献资料。

自然场景文字识别：识别自然场景图像中的文字信息如车牌、广告干词、路牌等信息。对车辆进行识别可以实现停车场收费管理、交通流量控制指标测量、车辆定位、防盗、高速公路超速自动化监管等功能。

票据文字识别：可以对增值税发票、报销单、车票等不同格式的票据进行文字识别，可以避免财务人员手动输入大量票据信息，如今已广泛应用于财务管理、银行、金融等众多领域。。

证件识别：可以快速识别身份证、银行卡、驾驶证等卡证类信息，将证件文字信息直接转换为可编辑文本，可以大大提高工作效率、减少人工成本、还可以实时进行相关人员的身份核验，以便安全管理。

四、OCR的技术路线

典型的OCR技术路线如下图所示：

其中OCR识别的关键路径在于文字检测和文本识别部分，这也是深度学习技术可以充分发挥功效的地方。

1.传统OCR技术流程：

1、水平投影垂直投影

2、模板匹配

3、查找轮廓findcontours

传统的光学字符识别过程为：图像预处理（彩色图像灰度化、二值化处理、图像变化角度检测、矫正处理等）、版面划分（直线检测、倾斜检测）、字符定位切分、字符识别、版面恢复、后处理、校对等。

2.深度学习OCR技术流程：

深度学习图像文字识别流程包括：输入图像、深度学习文字区域检测、预处理、特征提取、深度学习识别器、深度学习后处理等。

现有多数深度学习识别算法具体流程包括图像校正、特征提取、序列预测等模块，流程如图所示：

五、场景文字检测与识别方法分类

1.场景文字检测方法分类：

2.场景文字识别方法分类：

3.端到端自然场景检测和识别方法：

六、常用文字检测框架介绍：

1、DBNet

首先，DB是一种基于分割的文本检测算法。在各种文本检测算法中，基于分割的检测算法可以更好地处理弯曲等不规则形状文本，因此往往能取得更好的检测效果。但分割法后处理步骤中将分割结果转化为检测框的流程复杂，耗时严重。因此作者提出一个可微的二值化模块（Differentiable

Binarization，简称DB），将二值化阈值加入训练中学习，可以获得更准确的检测边界，从而简化后处理流程。DB算法最终在5个数据集上达到了state-of-art的效果和性能。

2、CTPN

CTPN模型主要包括三个部分，分别是卷积层、Bi-LSTM层、全连接层，其结构如下图所示。

在卷积层部分，CTPN选取VGG16模型前5个conv5= stage得到feature maps作为图像最后的特征，假设此时feature maps的尺寸为 W *H * C；

由于文本之间存在序列关系，因此，作者引入了递归神经网络，采用的是一层Bi-LSTM层，作者发现引入了递归神经网络对文本检测的效果有一个很大的提升，如下图所示，第一行是不采用递归神经网络的效果，第二行是采用了Bi-LSTM后的效果。具体的做法是采用一个的滑动窗口，提取feature

maps上每个点周围的区域作为该点的特征向量表示，此时，图像的尺度变为，然后将每一行作为序列的长度，高度作为batch_size，传入一个128维的Bi-LSTM，得到Bi-LSTM层的输出为；

将Bi-LSTM的输出接入全连接层，在这一部分，作者引入了anchor的机制，即对每一个点用k个anchor进行预测，每个anchor就是一个盒子，其高度由[273，390，…，11]逐渐递减，每次除以0.7，总共有10个。作者采用的是三个全连接层分支。

3、EAST

论文的思想非常简单，结合了DenseBox和Unet网络中的特性，具体流程如下：

先用一个通用的网络(论文中采用的是Pvanet，实际在使用的时候可以采用VGG16，Resnet等)作为base net ，用于特征提取

基于上述主干特征提取网络，抽取不同level的feature map,它们的尺寸分别是 WHC，这样可以得到不同尺度的特征图．目的是解决文本行尺度变换剧烈的问题，ealy stage可用于预测小的文本行，late-stage可用于预测大的文本行．

特征合并层，将抽取的特征进行merge．这里合并的规则采用了U-net的方法，合并规则：从特征提取网络的顶部特征按照相应的规则向下进行合并，这里描述可能不太好理解，具体参见下述的网络结构图

网络输出层，包含文本得分和文本形状．根据不同文本形状(可分为RBOX和QUAD)，输出也各不相同，具体参看网络结构图

其他常见算法（持续补充）：

七、常用文字识别框架介绍：

1.基于CTC文字识别方法

基于 CTC 最典型的算法是CRNN (Convolutional Recurrent Neural

Network)[1]，它的特征提取部分使用主流的卷积结构，常用的有ResNet、MobileNet、VGG等。CRNN文本识别算法引入了双向 LSTM(Long Short-Term Memory) 用来增强上下文建模，通过实验证明双向LSTM模块可以有效的提取出图片中的上下文信息。最终将输出的特征序列输入到CTC模块，直接解码序列结果。

CRNN网络架构：

CRNN网络结构包含三部分，从下到上依次为：

1.卷积层，使用深度CNN，对输入图像提取特征。

2.循环层，使用双向RNN（BLSTM）对特征序列进预测，输出预测标签（真实值）分布。

3.转录层，使用 CTC 损失，把从循环层获取的一系列标签分布转换成最终的标签序列。

2.基于Attention文字识别方法

目前主流的场景文本识别模型都是基于编码器-解码器框架的，而传统的编码器-解码器框架只能将输入序列编码成一个固定长度的向量表示。引入Attention机制的编码器输出的是不定长向量组成的序列，对目标数据以及相关数据赋予更大的权重，使得解码器的“注意力”集中到目标数据，获取到更多的细节，并且可以学到较长输入序列的合理向量表示。注意机制通常与RNN 结合作为预测模块。以下为基于Attention文字识别方法总结：

以下是文字识别方法算法分类，具体内容参考文章：OCR文字识别经典论文详解

八、深度学习文字检测与识别方法发展历程

过分割与文本行识别两种方法发展：

深度学习文字检测模型发展：

深度学习文字识别模型发展：

以上文字检测与文字识别部分在后续文章中将详细展开介绍，后续参考文章开头目录！

九、OCR常用的数据集

在这个代码仓库里，提供了常用的OCR检测和识别中的通用公开数据集的下载链接。并且提供了json标签转成.txt标签的代码和转换好的.txt标签。

该项目的详细github地址如下：https://github.com/zcswdt/OCR_ICDAR_label_revise

1.数据集介绍

数据集介绍参考：https://blog.csdn.net/jhsignal/article/details/107930105

2.数据集下载

OCR评价指标

编辑距离：

编辑距离是针对二个字符串（例如英文字）的差异程度的量化量测，量测方式是看至少需要多少次的处理才能将一个字符串变成另一个字符串。在莱文斯坦距离中，可以删除、加入、替换字符串中的任何一个字元，也是较常用的编辑距离定义，常常提到编辑距离时，指的就是莱文斯坦距离。

测试指标说明：

平均识别率：[ 1 - (编辑距离 / max(1, groundtruth字符数, predict字符数) ) ] * 100.0%

的平均值； 平均编辑距离：编辑距离，用来评估整体的检测和识别模型；

平均替换错误：编辑距离计算时的替换操作，用于评估识别模型对相似字符的区分能力；

平均多字错误：编辑距离计算时的删除操作，用来评估检测模型的误检和识别模型的多字错误；

平均漏字错误：编辑距离计算时的插入操作，用来评估检测模型的漏检和识别模型的少字错误；

#代码
import Levenshtein 
def evaluate_measure(str_algorithm, str_ground_truth): 
    # 编辑距离 insert + delete + replace 
    edit_dist = Levenshtein.distance(str_algorithm, str_ground_truth) 
    sum_len_two_str = len(str_algorithm) + len(str_ground_truth) 
    ratio = Levenshtein.ratio(str_algorithm, str_ground_truth) 
    ldist = sum_len_two_str - (float(ratio) * float(sum_len_two_str)) 
    # 替换操作 
    replace_dist = ldist - edit_dist 
    if len(str_algorithm) > len(str_ground_truth): 
        more_word_error = len(str_algorithm) - len(str_ground_truth) 
        less_word_error = 0 
    else: 
        more_word_error =  0 
        less_word_error = len(str_ground_truth) - len(str_algorithm) 
    # - 平均识别率：[1 - (编辑距离 / max(1, groundtruth字符数, predict字符数))] * 100.0 % 的平均值； 
    recg_rate = "{:.2%}".format(1 - (edit_dist / max(1, len(str_algorithm), len(str_ground_truth)))) 
    print("识别率, 编辑距离, 替换错误, 漏字错误, 多字错误") 
    print(recg_rate, edit_dist, replace_dist, less_word_error, more_word_error) 
    return recg_rate, edit_dist, replace_dist, less_word_error, more_word_error