【AI应用落地实战】智能文档处理本地部署——可视化文档解析前端TextIn ParseX实践

本文涉及的产品
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 2024长沙·中国1024程序员节以“智能应用新生态”为主题,吸引了众多技术大咖。合合信息展示了“智能文档处理百宝箱”的三大工具:可视化文档解析前端TextIn ParseX、向量化acge-embedding模型和文档解析测评工具markdown_tester,助力智能文档处理与知识管理。

湘江之畔,秋风送爽。前不久,2024长沙·中国1024程序员节在长沙盛大举行。今年的程序员节主题为“智能应用新生态”,以科技为纽带,搭建起了一个共筑智能应用新生态的交流平台,众多技术大咖齐聚一堂,探讨智能应用的新发展。

在人潮涌动的模型与工具论坛会场中,一道熟悉的身影格外引人注目——合合信息。作为在智能文档处理领域深研多年的一员,合合信息本次在会上带来了“智能文档处理百宝箱”的三大全新工具——可视化文档解析前端TextIn ParseX、向量化acge-embedding模型、文档解析测评工具markdown_tester。

听完报告后,回家就体验了一下其中的可视化文档解析前端工具,在这里分享给大家。

一、文档版面分析与理解

在深入探讨TextIn ParseX的实践应用之前,有必要先简单讲解一下文档版面分析与理解的目的。

1.1、文档版面分析

文档版面分析是对图片或页面扫描图像上感兴趣的区域进行定位和分类的过程。其目的是让机器“看懂”文档结构,即将文档图像分割成不同类型内容的区域,并分析区域之间的关系,这是文档版面理解之前的关键步骤。从广义上讲,大多数方法可以提炼为页面分割和逻辑结构分析。

  • 页面分割方法侧重于外观,并使用视觉线索将页面划分为不同的区域,最常见的是文本、图形、图像和表格。
  • 逻辑结构分析侧重于为这些区域提供更细粒度的语义分类,即识别作为段落的文本区域,并将其与标题或文档标题区分开来。

1.2、文档版面理解

文档版面理解则是在版面分析的基础上,进一步对文档中的信息进行深度挖掘和语义解释。它不仅要求识别文档的物理结构,还需要理解这些结构所承载的信息内容和它们之间的逻辑关系。例如,识别出文档中的标题、摘要、正文段落以及它们之间的层级关系,理解表格中数据的排列方式和含义,或者解析图像与文本之间的关联。

二、TextIn ParseX 本地实践流程

2.1、TextIn ParseX 项目简介

就我个人目前在工作中遇到的各类业务而言,现代文档形式日益多样化,这些文档不仅包含传统的文本格式,还包括PDF、扫描件、手写文本、图片嵌入文本等多种结构,常常掺杂图像、表格、图形等非文本信息。与此同时,文档信息的冗余和噪声过滤也带来了困扰。在实际业务中,文档中关键信息常被大量冗余内容包围,比如广告、页眉页脚、参考文献等无关信息,这些噪声不仅增加了解析难度,还使得信息提取的准确性受到影响。传统的文档扫描和分析工具往往难以适用。

工欲善其事,必先利其器,TextIn ParseX项目正是在这样的背景下应运而生。该项目基于强大的智能文档处理能力,旨在设计一款工具,用于OCR或PDF解析结果的审核校对、效果测评,同时也适用于翻译软件等一系列需要可视化比对的场景。TextIn ParseX项目的开发,不仅能够提升文档解析的效率和准确性,还能有效降低技术门槛,使得非开发者用户也能轻松上手,从而极大地提高工作效率。TextIn ParseX具备以下核心特点:

  • 多种扫描内容支持:能够有效处理各类图片和扫描文档,包括手机照片和截屏等。
  • 多语言兼容性:支持简体中文、繁体中文、英文以及多种主流语言。
  • 卓越的表格识别能力:能够准确识别各种格式的表格,包括有线表格、无线表格和密集表格,并支持合并单元格的识别与还原。
  • 准确的阅读顺序还原:理解并还原文档的结构和元素排列,确保阅读顺序的准确性,适合多栏布局的学术论文、年报、业务报告、数据调研等。
  • 自研文档树引擎:从语义层面提取段落的embedding值,预测标题层级关系,通过构造文档树提升检索和信息召回的效果。

2.2、下载代码与安装环境

目前合合信息团队已经将TextIn ParseX 项目开源,我们可以首先进入TextIn ParseX 项目github仓库:https://github.com/intsig-textin/parsex-frontend

复制仓库地址,并转到本地文件夹中,打开终端输入:git clone https://github.com/intsig-textin/parsex-frontend.git如果连不上github也可以离线下载安装包后解压,导入VSCode后项目的完整结构如下所示:

项目结构是一个典型的React项目结构,其中layouts/为页面框架组件,定义页面的整体布局,modules/存储应用的状态管理逻辑,pages/为页面组件,service/则为接口服务,主要用于封装与后端API的交互逻辑。

── src/                    # 源代码
│   ├── assets/             # 静态资源 
│   ├── components/         # 全局通用组件
│   ├── layouts/            # 页面框架组件 
│   ├── modules/            # store 
│   ├── pages/              # 页面组件
│   ├── service/            # 接口服务
│   ├── utils/              # 工具函数
 │   └── app.ts              # 入口文件 
├── public/                 # 静态资源 
├── config/                 # 配置
 │   ├── routes              # 路由 
│   └── config.*            # 其他umi配置 
├── .eslintrc.js            # ESLint 配置 
├── tsconfig.json           # TypeScript 配置 
├── package.json            # 项目配置 
└── README.md               # 项目说明文件

其次在终端输入npm install -g yarn安装yarn包管理器,安装完后可以输入yarn -v,如果出现版本号则说明已经成功安装:

然后输入yarn install安装依赖环境:

显示以上则说明已成功安装对应依赖环境。下载好代码和安装好环境后,在终端输入命令yarn start即可启动项目:

打开网页,输入url地址127.0.0.1:10007即可进入项目。

2.3、项目配置

首次打开项目后,需要首先进入TextIn工作台申请api,点击https://www.textin.com/console/dashboard/setting进入控制台,新建密钥

然后将密钥中的x-ti-app-id和x-ti-secret-code复制下来

复制完后,转到刚刚之前启动的TextInParseX页面,打开高级模式:

将刚刚复制的x-ti-app-id和x-ti-secret-code分别填入指定位置,然后就可以开始使用了!

2.4、TextIn ParseX功能测评

点击左侧上传需要扫描的PDF文件,即可看到解析目录、pdf对照以及最终的解析结果如下:

首先,我们可以看到TextIn ParseX对解析结果进行了Markdown形式的渲染。这种渲染方式不仅使文档的结构更加清晰易读,还能够支持各级标题、文本和图像的有效展示。其在解析过程中还将解析出的内容按类型进行了分类。文本、图像、表格和公式等不同类型的信息会被明确标识并归档。这种分类方式不仅便于用户在海量信息中进行快速检索,直观地了解文档的层次和主要内容,快速定位所需的特定信息,提升整体工作效率。

值得注意的是,TextIn ParseX对于复杂表格和数学公式的解析能力也颇为出色。在处理复杂表格时,其能够识别表格的行列结构,并准确提取每个单元格的内容。对于数学公式的解析,ParseX能够理解并渲染各种数学表达式,使得公式的展示更加规范和清晰。

另外,TextIn ParseX还提供了非常便捷的原文对照功能,这一功能极大地提升了用户的工作效率。在PDF原文中,系统会自动标注解析出的版面元素的位置,例如文本块、表格和图像等。这种可视化的标注方式,使得用户能够直观地看到解析结果与原文之间的对应关系。

在解析结果的右侧,我们可以通过点击相应的画框,快速跳转到对应的解析结果,反之,也可以在解析结果中点击具体的内容,这样系统会自动跳转回原文的相关位置。

三、智能文档处理百宝箱

除此之外,“百宝箱”还提供了向量化模型acge_text_embedding模型(简称“acge模型”)和文档解析测评工具markdown_tester。

其中acge_text_embedding模型是一种高精度的文本向量化模型,它将海量的文本数据转化向量,使得计算机能够高效地计算文本之间的相似性。

相比于传统的预训练或微调垂直领域模型,acge模型支持在不同场景下构建通用分类模型、提升长文档信息抽取精度,且应用成本相对较低,可帮助大模型在多个行业中快速创造价值,为构建新质生产力提供强有力的技术支持。

而markdown_tester能够针对表格、段落、标题、阅读顺序以及公式等关键指标进行定量测评,并提供直观的雷达图展示结果。这样,开发者就可以直观地看到文本识别、解析和翻译的效果,从而便捷地评估产品性能

总的来讲,智能文档处理“百宝箱”通过细分数据处理任务,有效解决了各类文档解析与知识管理的难点问题,在知识库开发、智能文档抽取、大模型预训练语料与数据治理快速入库、文档翻译等多个专业场景中展现出了广泛的应用潜力。

如需了解更多文档处理权益,欢迎点击下方链接,加入交流社群,随时获得最新资讯及福利。

https://www.textin.com/activity?tag=znwd-bbx&btn=tj&code=mkt-csdn241024&from=csdn-prtg


相关文章
|
10天前
|
机器学习/深度学习 人工智能 算法
AI技术在医疗诊断中的应用及前景展望
本文旨在探讨人工智能(AI)技术在医疗诊断领域的应用现状、挑战与未来发展趋势。通过分析AI技术如何助力提高诊断准确率、缩短诊断时间以及降低医疗成本,揭示了其在现代医疗体系中的重要价值。同时,文章也指出了当前AI医疗面临的数据隐私、算法透明度等挑战,并对未来的发展方向进行了展望。
|
17天前
|
机器学习/深度学习 人工智能 自然语言处理
当前AI大模型在软件开发中的创新应用与挑战
2024年,AI大模型在软件开发领域的应用正重塑传统流程,从自动化编码、智能协作到代码审查和测试,显著提升了开发效率和代码质量。然而,技术挑战、伦理安全及模型可解释性等问题仍需解决。未来,AI将继续推动软件开发向更高效、智能化方向发展。
|
13天前
|
机器学习/深度学习 人工智能 算法
AI在医疗诊断中的应用
【10月更文挑战第42天】本文将探讨人工智能(AI)在医疗诊断中的应用,包括其优势、挑战和未来发展方向。我们将通过实例来说明AI如何改变医疗行业,提高诊断的准确性和效率。
|
14天前
|
存储 人工智能 搜索推荐
Memoripy:支持 AI 应用上下文感知的记忆管理 Python 库
Memoripy 是一个 Python 库,用于管理 AI 应用中的上下文感知记忆,支持短期和长期存储,兼容 OpenAI 和 Ollama API。
61 6
Memoripy:支持 AI 应用上下文感知的记忆管理 Python 库
|
2天前
|
数据采集 机器学习/深度学习 人工智能
AI在医疗诊断中的应用与挑战
随着人工智能(AI)技术的飞速发展,其在医疗领域的应用也日益广泛。从辅助医生进行疾病诊断到提供个性化治疗方案,AI技术正在改变着传统医疗模式。然而,AI在医疗诊断中的应用并非一帆风顺,面临着数据质量、模型可解释性、法规政策等一系列挑战。本文将从AI在医疗诊断中的具体应用场景出发,探讨其面临的主要挑战及未来发展趋势。
|
1天前
|
机器学习/深度学习 人工智能 搜索推荐
AI技术在医疗领域的应用与前景####
本文深入探讨了人工智能(AI)技术在医疗健康领域中的多维度应用,从疾病诊断、个性化治疗到健康管理,展现了AI如何革新传统医疗模式。通过分析当前实践案例与最新研究成果,文章揭示了AI技术提升医疗服务效率、精准度及患者体验的巨大潜力,并展望了其在未来医疗体系中不可或缺的地位。 ####
|
9天前
|
编解码 前端开发 开发者
前端开发中的响应式设计实践
前端开发中的响应式设计实践
|
10天前
|
机器学习/深度学习 人工智能 算法
强化学习在游戏AI中的应用,从基本原理、优势、应用场景到具体实现方法,以及Python在其中的作用
本文探讨了强化学习在游戏AI中的应用,从基本原理、优势、应用场景到具体实现方法,以及Python在其中的作用,通过案例分析展示了其潜力,并讨论了面临的挑战及未来发展趋势。强化学习正为游戏AI带来新的可能性。
38 4
|
12天前
|
前端开发
结合具体案例分析Gitflow分支策略在大型前端项目中的应用优势
通过这个具体案例可以看出,Gitflow 分支策略在大型前端项目中能够提供有条不紊的开发环境,保障项目的稳定性和持续发展。
|
19天前
|
机器学习/深度学习 人工智能 算法
AI在医疗领域的应用与挑战
本文探讨了人工智能(AI)在医疗领域的应用,包括其在疾病诊断、治疗方案制定、患者管理等方面的优势和潜力。同时,也分析了AI在医疗领域面临的挑战,如数据隐私、伦理问题以及技术局限性等。通过对这些内容的深入分析,旨在为读者提供一个全面了解AI在医疗领域现状和未来发展的视角。
55 10

热门文章

最新文章

推荐镜像

更多