展望AI时代,把握文档图像智能分析与处理的未来

简介: 二、视觉- 语言预训练模型及迁移学习方法三、智能文档处理技术在工业界的应用与挑战

对于此内容部分整理了一份结构脑图,大致如下,可供参考回顾:image.png
该部分由北京大学教授邹月娴讲解,主要讲了VLP模型的参数有效迁移学习方法(PETL)、基于提示工程的VLP迁移学习方法:手工设计提示模板,clip的提升效果非常不错,coop少样本学习方法性能超越clip提示学习方法几部分。

对此部分感兴趣的小伙伴也可以看一下直播回放和查阅更多资料,这部分不多作讲解,主要还是针对图像文档处理技术展开啦~
三、智能文档处理技术在工业界的应用与挑战
本部分内容由上海合合信息科技股份有限公司高级工程师——丁凯老师讲解,主题内容为《智能文档处理技术在工业界的应用与挑战》。

内容结构图如下:image.png目前智能文档处理仍然面临着文档图像质量退化严重、文字检测及版面分析困难、非限定条件文字识别率低等技术难题。

合合科技在文档图像的分析与预处理、手写板反光擦除及文档图像篡改检测都是业界标杆级的存在。

3.1 背景介绍
图像处理技术 是用计算机对图像信息进行处理的技术。主要包括图像数字化、图像增强和复原、图像数据编码、图像分割和图像识别等。

其中图像一般有两种表达形式:

几何图形(Graphics) :由点、线、面、颜色等组成,由绘图程序产生,是一系列绘图指令的集合,一般用各种绘图软件制作。
点阵图像(Image) :由各像素点和颜色组合而成,使用摄像机、扫描仪、数码相机等设备获得,也可以使用绘图软件生成。图像表示的画面细腻,层次和色彩丰富。图像的各像素点逐点存储在计算机中,占用的存储空间大。

image.png
使命:让世界更高效
image.pngimage.png
3.2 文档图像分析与预处理
目前对于图像的处理技术包括 点处理、组处理、几何处理 和 帧处理 四种方法。

点处理方法 是处理图像最基本的方法,由于该方法处理的对象是像素,故此得名。点处理方法简单而有效,主要用于图像的亮度调整、图像对比度的调整,以及图像亮度的反置处理等。
图像的 组处理方法 处理的范围比点处理大,处理的对象是一组像素,因此又叫“区处理或块处理”。组处理方法在图像上的应用主要表现在:检测图像边缘并增强边缘、图像柔化和锐化、增加和减少图像随机噪声等。
图像的几何处理方法 是指经过运算,改变图像的像素位置和排列顺序,从而实现图像的放大与缩小、图像旋转、图像镜像、以及图像平移等效果的处理过程。
图像的 帧处理方法 是指将一幅以上的图像以某种特定的形式合成在一起,形成新的图像。其中,特定的形式是指:经过“逻辑与”运算进行图像的合成、按照“逻辑或”运算关系合成、以“异或”逻辑运算关系进行合成、图像按照相加或者相减以及有条件的复合算法进行合成、图像覆盖或取平均值进行合成。图像处理软件通常具有图像的帧处理功能,并且以多种特定的形式合成图像。
3.2.1 文档图像分析与预处理
image.png
3.2.2 文档图像预处理的整体架构image.png
3.2.3 图像预处理——弯曲矫正
我们在日常生活中在对一些图片文件拍照的时候可能会出现一些折叠弯曲的现象,这在某些时候是避免不了的。
image.png
面对这种现象自然image.png
3.3 手写板反光擦除
3.3.1 手写板反光擦除
在黑板、手写板上进行拍摄时,无可避免的遇到反光的影响,通过反光擦除技术,保留笔画细节,清晰还原。也让有相应的技术进行应对,也就是弯曲矫正技术啦。
image.png
image.png
.5 文档图像篡改检测
文档图像篡改检测也可以简单理解成PS检测, 说简单一点就是一项可以检测照片有没有被PS修改过的一个功能。

在日常生活中某些信息可能会存在造假现象,尤其是对于一些证件类的图片等信息,有些人可能会使用PS等工具对图片中的一些关键信息进行一些PS修改,以此达到一些其他目的。

Adobe 在2018 CVPR上发表了一篇利用深度神经网络检测PS痕迹的论文,Learning Rich Features for Image Manipulation Detection

PS痕迹检测,沿用物体检测套路,直接上faster rcnn,ground-truth就是p上去的区域。论文创新点就是,除了使用传统RGB图像作为网络输入外,还让RGB图像过一遍SRM filter,得到noise feature,让这个noise feature也作为网络的输入。注意,RGB和noise走的分别是两个faster rcnn网络,但只使用RGB网络训练RPN,用这个RPN,对两个网络的feature map做RoI pooling。在分别得到RGB和noise的RoI之后,对这两个RoI做Bilinear pooling,得到feature进分类器。而RGB的RoI则做bounding box回归。
image.png

相关文章
|
1天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI在IT管理中的应用与挑战
【6月更文挑战第28天】随着人工智能技术的飞速发展,其在IT运维领域的应用逐渐深入。本文将探讨AI技术在智能化运维中的角色,包括自动化故障诊断、预测性维护、以及安全监控等方面。同时,我们也将分析实施智能化运维时面临的技术挑战和伦理问题,旨在为读者提供一个关于如何有效整合AI技术进入IT运维实践的全面视角。
|
5天前
|
人工智能 搜索推荐 安全
智能增强:AI技术在现代教育中的应用与挑战
随着人工智能(AI)技术的飞速发展,其在教育领域的应用也日益广泛。本文探讨了AI技术如何重塑教育行业,包括个性化学习、智能辅导系统、以及自动化评估工具的开发。同时,文章也指出了AI在教育中所面临的挑战,如数据隐私问题、教师角色的转变以及技术不平等现象。通过分析AI技术在教育中的利与弊,本文旨在为教育工作者和政策制定者提供洞察,以促进AI技术在教育领域中的健康发展。
|
5天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI在IT基础设施管理中的应用
【6月更文挑战第24天】本文将深入探讨人工智能(AI)如何革新传统IT运维模式,提升效率与响应速度。通过分析AI技术在故障预测、自动化处理和安全防护等方面的应用实例,揭示其对现代IT基础设施管理的深远影响。文章旨在为读者提供一个关于AI赋能运维领域的全面视角,同时指出实施过程中可能遇到的挑战与对策。
31 5
|
8天前
|
机器学习/深度学习 人工智能 运维
智能化运维的崛起:AI在IT管理中的应用与挑战
【6月更文挑战第21天】随着人工智能(AI)技术的飞速发展,其在信息技术(IT)运维领域的应用已成为推动效率和创新的关键动力。本文将深入探讨AI如何重塑IT运维的面貌,包括自动化故障检测、预测性维护、以及智能决策支持等方面。同时,我们也将分析在实施智能化运维时所面临的技术挑战和道德考量,并提出相应的解决策略。
311 4
|
2天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI在IT管理中的革新作用
随着人工智能(AI)技术的飞速发展,其在信息技术(IT)运维领域的应用正逐渐成熟,并开始引领一场革命。本文将探讨AI技术如何优化传统的IT运维流程,提高效率与响应速度,并预测未来运维的发展方向。通过分析实际案例和最新的研究成果,本文旨在为读者提供一个关于AI在现代IT运维中角色和影响的全面视角。
|
2天前
|
机器学习/深度学习 人工智能 文字识别
【AI落地应用实战】如何让扫描工具更会思考——智能高清滤镜2.0实战测评
扫描全能王的智能高清滤镜2.0利用深度学习技术解决文档图像处理难题,如透字、阴影、褶皱、手指遮挡等问题。它采用自适应感知技术,识别并处理不同元素,同时结合多尺度感知融合方法,提升图像清晰度。实测显示,滤镜在曲面书籍、摩尔纹屏幕、透字文档和光线不均的图画等场景下表现优秀,能智能地适应和优化复杂条件下的扫描效果,提高了文档扫描的效率和质量。
|
6天前
|
人工智能 API 语音技术
探索Gemini Pro AI在智能Android应用中的魅力
探索Gemini Pro AI在智能Android应用中的魅力
11 0
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
影中的ai技术
【6月更文挑战第27天】电影中的ai技术
216 65
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术对法律行业有何影响?
【6月更文挑战第27天】AI技术对法律行业有何影响?
47 3
|
7天前
|
存储 人工智能 自然语言处理
LLM技术全景图:技术人必备的技术指南,一张图带你掌握从基础设施到AI应用的全面梳理
LLM技术全景图:技术人必备的技术指南,一张图带你掌握从基础设施到AI应用的全面梳理
LLM技术全景图:技术人必备的技术指南,一张图带你掌握从基础设施到AI应用的全面梳理