4 物流集装箱字符识别探索和实践

简介: 在对集装箱箱号识别进行研究的过程中,使用CTPN来进行字符检测,使用CRNN模型对框选的文本进行识别。最终使用了81张单个集装箱的图片作为测试集,最终CTPN的检测效果:在IoU=0.5的情况下达到0.836,而CRNN模型的识别效果:字符正确率0.821,整图正确率为0.135。

4.1 集装箱箱号识别项目概述
在对集装箱箱号识别进行研究的过程中,使用CTPN来进行字符检测,使用CRNN模型对框选的文本进行识别。
最终使用了81张单个集装箱的图片作为测试集,最终CTPN的检测效果:在IoU=0.5的情况下达到0.836,而CRNN模型的识别效果:字符正确率0.821,整图正确率为0.135。
进一步计划:
(1)CPTN在该场景下,不适用于做目标区域检测,因为存在多个集装箱同时存在的场景,同时单个集装箱也存在多处字符(如企业商标等),因此需要另外训练一个模型去获更完善的目标文本框区域。然后用CPTN或者其他方法将框选的文本区域分割为文本条,然后使用CRNN进行识别。
(2)增加后处理环节,通过识别出的数字,算出校验码,用来提高整图正确率。
4.2 集装箱箱号识别介绍
4.2.1 集装箱箱号

总计十个字符,前三个字符(即上图的“SUD”)为拥有者的代码,对应的是HAMBURG SUD,即汉堡南美航运公司,第四个字符(“U”)代表的是集装箱类型,一般都会为U。
第5到第10个字符,即(“307007”)为箱体注册码,是集装箱箱体持有的唯一标识。
第11个字符(即“9”)为校验码,有前4位字母和6位数字通过校验规则运算得到,用于识别在校验时是否发生错误。
虽然只要识别10个字符,即得到集装箱箱号,但在商用产品中,一般也都会将校验码识别出来,
4.2.2 集装箱箱号识别难点
(1)箱号位置不统一,字符之间距离间隔不统一
(2)箱号的印刷字体不一致
4.2.3 集装箱箱号识别流程
对于单个集装箱图片而言,从图片中检测到集装箱箱号位置区域,对箱号区域进行分割,然后识别,再进行后处理(校验码检验等),最终输出集装箱的箱号。

4.3 数据整理
4.3.1 数据搜集
4.3.1.1 集装箱数据
通过google的以图搜图,并通过筛选后,有200张左右的图片。但对于神经网络模型来说,数据量太少。
4.3.1.2 字符识别数据相关
因搜集到的集装箱图片数据太少,因此,使用图片生成的方法制作数据集。
(1)字体
通过对上述200张集装箱图片的观察,发现最起码存在四种字体。

当前,通过在线字体搜索,只找到了两种近似字体,另外两种暂未获得。
① SaaSeriesBD

② U59

(2) 工具
字符识别数据使用的是TextRecognitionDataGenerator。样例如下:

4.3.1.3 字符检测数据
当前网络上公开的数据集有ICDAR(International Conference on Document Analysis and Recognition)历年的比赛数据。
4.3.2 数据处理——生成、增广等
(1)为英文字符与数字字符设置合适的比例,2:3
(2)图片随机旋转角度:[0, 10]
(3)图片背景:较为干净的集装箱图片
4.4 字符识别
4.4.1 评价指标
整图正确率。假设一张图片中,含有多处多个字符,按从左往右顺序,没处的每个字符都正确,则该图片识别正确。整图正确率 = 图片识别正确数 / 图片识别测试总数。
字符正确率。每一个标注区域,按从左往右顺序,正确识别出的字符数,除以总字符数。
4.4.2 方法 —— CRNN_STN
CRNN_STN是带有STN(Spatial Transformer Networks)的CRNN(Convolutional Recurrent Neural Network)网络。
选用的源码来自于这里。但原作者的代码中,模型部分有错误,需要更正,见小节4.3.1。
4.4.2.1 STN
STN即空间变换网络,普通的CNN能够显示的学习平移不变性,以及隐式的学习旋转不变性,但注意力机制模型告诉我们,与其让网络隐式的学习到某种能力,不如为网络设计一个显示的处理模块,专门处理各种变换。

4.4.2.2 CRNN
CRNN网络分为三个部分,① 用于提取图像特征的CNN,② 用于提取文字序列特征的BLSTM(Bidirectional Long Short-Term Memory),③ 用于选择最佳序列,剔除多余字符的CTC(Connectionist Temporal Classification)

4.4.3 训练踩坑
4.4.3.1 报错
(1)InvalidArgumentError (see above for traceback): sequence_length(0) <= 30
原因是CTC网络的loss计算,要求所有输入序列的长度(sequence_length)要小于max_time_step,通常max_time_step等于CTCLoss的输入序列数据的最大长度,报错的是因为存在sequence_length大于了max_time_step。
解决办法:检查CTCLoss的输入数据和sequence_length是否对应,通常由于数据先进入了CNN导致输入到CTC的数据维度发生了变化,而sequence_length还对应CNN前的数据序列长度,故按照CNN结构缩放原始sequence_length即可。
(2)提示加载的预训练模型与模型不匹配
原因是作者的代码有错误,将下图中的conv_1改成batchnorm_1即好。

4.4.3.2 调整数据集
(1)CRNN只支持单行字符检测
在一开始时,使用多行文本图片直接输入网络,导致识别没有效果。
(2)使用生成的数据集训练,但同时又使用生成的数据集验证
这导致在训练过程中效果很好,acc到达0.72,但使用真图测试时,效果较差,因此又截选真实图片,然后增广数据,提升训练效果。
4.5 字符位置检测
4.5.1 评价指标
IoU(Intersection-over-Union),是预测的框与原标记框的交叠率,即它们的交集与并集的比值,最理想的情况是完全重叠,即比值为1。

计算公式:

4.5.2 方法 —— CTPN
CTPN(Connectionist Text Proposal Network)模型实现流程包含三个部分,① 检测最小尺度文本框, ② 循环链接文本框,③ 文本行边细化
本文中所使用的CTPN模型来源于这里。
因该开源库提供了预训练模型,且CTPN模型对数据集标注的要求较高(不规则四边形框),以及在集装箱上存在多处非目标文本框,因此,并未进一步标注数据进行训练。
4.6 总结
4.6.1 结论
本研究最终使用了81张单个集装箱的图片作为测试集,最终CTPN的检测成果:在IoU=0.5的情况下达到0.836,字符正确率0.821,整图正确率为0.135。
字符正确率与整图正确率差距较大的原因可能在于CTPN所获取的目标框文本不全、分割。同时,在本预研过程中,一半多的时间是用于处理和标注数据集,但由于总时间投入较少,数据质量仍然较差。
集装箱识别是比较具有现实意义的问题,因此也需要结合实际场景进行研究,如果能获取大量真实场景的集装箱图片,整体效果预计将会有显著提升。
4.6.2 下一步计划
(1)CPTN在该场景下,不适用于做目标区域检测,因为存在多个集装箱同时存在的场景,同时单个集装箱也存在多处字符(如企业商标等),因此需要另外训练一个模型去获更完善的目标文本框区域。然后用CPTN或者其他方法将区域分割为文本条,然后使用CRNN进行识别。
(2)增加后处理环节,通过识别出的数字,算出校验码,用来提高整图正确率。
4.6.3 风险
(1)当前CPTN检测到的框因为间隔原因,会使得获取的文本框文本不全。

正确获取文本框(左)和错误获取文本框(右)
image.png

目录
相关文章
|
8月前
|
安全 Cloud Native Java
吃透 API 网关:从核心原理、架构选型到千万级 QPS 高性能设计实战
API网关是微服务架构的流量中枢,承担统一接入、智能路由、安全防护、流量治理、协议转换与可观测性等核心能力。它解耦客户端与后端服务,提升系统稳定性、安全性与可维护性,是云原生架构的关键基础设施。
952 1
|
9月前
|
人工智能 Rust 运维
CC本次更新最强的不是OPUS4.6,而是Agent Swarm(蜂群)
老金揭秘Claude最新Agent Swarm:AI自动组团协作!无需人工盯梢,一句话指令即可分工、通信、自修复,效率提升3倍、成本降40%。含6大落地模板、3大核心机制与实战配置,助你从“单打独斗”升级为“指挥数字团队”。
|
9月前
|
人工智能 安全 机器人
OpenClaw+GLM 5.0实战攻略:无缝接入飞书+3000+Skill资源一键解锁
随着AI智能体技术的迭代,OpenClaw(原Clawdbot)已从单纯的工具型AI升级为全场景自动化平台。2026年最新版OpenClaw搭配智谱GLM 5.0大模型,凭借200k超长上下文、超强推理能力,再结合阿里云稳定的云端部署环境,能轻松实现公众号创作、邮件管理、数据分析等复杂任务自动化。
3495 1
|
10月前
|
人工智能 自然语言处理 数据挖掘
Qwen3-VL-Embedding & Qwen3-VL-Reranker:统一多模态表征与排序
通义千问Qwen团队于2025年1月8日推出多模态模型新成员:Qwen3-VL-Embedding与Qwen3-VL-Reranker,基于Qwen3-VL构建,支持文本、图像、视频等多模态统一表示与跨模态检索,在图文匹配、视觉问答等任务中表现卓越,具备高精度、多语言、易集成等优势,助力全球开发者构建高效多模态应用。
4646 4
|
人工智能 编解码 JSON
Qwen2.5-VL:阿里通义千问最新开源视觉语言模型,能够理解超过1小时的长视频
Qwen2.5-VL 是阿里通义千问团队开源的视觉语言模型,具有3B、7B和72B三种不同规模,能够识别常见物体、分析图像中的文本、图表等元素,并具备作为视觉Agent的能力。
10713 18
Qwen2.5-VL:阿里通义千问最新开源视觉语言模型,能够理解超过1小时的长视频
|
机器学习/深度学习 缓存 PyTorch
异步数据加载技巧:实现 DataLoader 的最佳实践
【8月更文第29天】在深度学习中,数据加载是整个训练流程中的一个关键步骤。为了最大化硬件资源的利用率并提高训练效率,使用高效的数据加载策略变得尤为重要。本文将探讨如何通过异步加载和多线程/多进程技术来优化 DataLoader 的性能。
2980 1
|
机器学习/深度学习 编解码 人工智能
Qwen2.5-VL Technical Report
Qwen2.5-VL是阿里云团队推出的Qwen系列最新旗舰模型,具备显著提升的基础能力和创新功能。它在视觉识别、对象定位、文档解析和长视频理解等方面实现突破,支持精准的边界框/点定位及复杂输入处理。通过技术创新如窗口注意力、动态帧率采样和绝对时间编码,该模型在多模态任务中表现出色,在多个基准测试中超越顶级闭源模型,适用于从边缘AI到高性能计算的广泛场景。
修改apt-get源为国内镜像源
修改apt-get源为国内镜像源
11113 0
|
数据可视化 安全 持续交付
敏捷方法大比拼:Scrum 适合你,还是 Kanban 更合适?
在数字化时代,企业面临项目管理的诸多挑战,如信息不透明、沟通低效等。Scrum 和 Kanban 作为敏捷管理方法,通过迭代优化和流程可视化提升协作效率与交付速度。Scrum 适合周期性迭代交付,强调短周期冲刺;Kanban 则适用于持续交付,强调任务流动性和灵活性。两者结合可形成 ScrumBan 模式,进一步优化任务处理。 对于数据安全要求高的企业,私有化部署工具(如板栗看板)确保数据自主可控、高安全性及定制化需求,保障业务连续性。选择合适的敏捷方法并结合私有化部署,能有效提升团队协作效率,助力企业在竞争中保持领先。
|
云安全 运维 监控
过三级等保测评要用到的“堡垒机”是什么?
堡垒机,即运维审计系统,位于内外网络间,作为安全防护设备,确保所有远程访问均通过其进行,严格控制并记录访问行为,保障内部网络资源安全。其核心功能包括访问控制、操作审计、多因素身份认证、安全隔离、会话管理和策略执行。使用堡垒机可降低人为安全风险,简化账号管理,提升工作效率,并确保企业符合行业标准和法规要求。德迅云安全堡垒机则提供多云主机资产运维审计,涵盖多种协议,支持双因素认证及自动化运维,确保安全审计合规、高效易用。