探索古彝文AI识别技术:助力中国传统文化的传承与发扬

简介: 随着科技的不断发展,OCR(Optical Character Recognition,光学字符识别)技术在各个领域得到了广泛应用。近年来,古彝文作为一种具有悠久历史和独特魅力的文字,逐渐受到了学者们的关注。探索古彝文识别OCR技术,不仅有助于挖掘、整理和传承中国传统文化,还能为现代科技与文化的交流搭建桥梁。

写在前面

随着科技的不断发展,OCR(Optical Character Recognition,光学字符识别)技术在各个领域得到了广泛应用。

近年来,古彝文作为一种具有悠久历史和独特魅力的文字,逐渐受到了学者们的关注。探索古彝文识别OCR技术,不仅有助于挖掘、整理和传承中国传统文化,还能为现代科技与文化的交流搭建桥梁。

一、什么是古彝文

1.1 古彝文介绍

image.png

彝文指的是云南、贵州、四川等地的彝族人使用的文字,其造字、使用方法在不同的区域之间表现出明显的差异。1980年发布的四川规范彝文有819字,2012年发布的滇川黔桂通用彝文有5598字。


这两种彝文主要用于现代语境,在仪式、节庆、旅游景点等场合彰显彝族非物质文化遗产的传承,或用于民族地区相关政策和宣传文件的翻译,以及当代母语作家文学的创作。


区别于上述现代意义上的彝文,今天我们所谓的“古彝文”指的是在民间流通使用的原生态彝文,根据《滇川黔桂彝文字集》,这些文字多达87046字。


彝文起源于何时,尚未有官方的定论。有学者认为,古彝文的起源距今至少数千年,是世界上最古老的文字之一。


下图是毕节市彝文文献翻译研究中心展示古籍修复原件

image.png

下图是毕节市彝文文献翻译研究中心展示汉译书稿

image.png

1.2 古彝文与其他古文字示例

如下图所示,分别是:

古埃及文字

古埃及象形文章

象形文

古彝文字义

古彝文字

image.png

可以看到,古彝文与其他古文字中可能存在某些相似关联

1.3  古彝文的重要性

对古彝文字集研究有助于理解尚未被翻译成汉文、用字尚未规范化的古籍,更深层、透彻地作用于传统文化保护。

二、AI识别技术的挑战与前景

AI技术在古彝文识别方面有着巨大的潜力,但也面临一些挑战。可以分为以下几个方面:

1. 版式多样,文字识别存在挑战

2.手写风格差异很大,手写识别难

3.彝文古籍图像质量差

4.彝文字笔画相近,增加AI识别难度

2.1 挑战

2.1.1 版式多样

汉文与彝文古籍的各类原稿的排版风格都不统一,字符间距和行距有密有疏,彝文古籍虽然没有大小字混排、双列夹字的校注传统,但也时常出现加字、替字、整句倒置和文字方向不统一等现象,这样会给文字定位造成挑战。

image.png

2.1.2 手写识别难

和汉文古籍一样,不同的彝文缮写员之间手写风格差异很大,这就需要大量的数据库来建立识别模型。

古彝文目前没有公开数据集,而通晓此种文字的人越来越少,导致标注工作量大而人手少,数据量严重不足,亟须引入AI技术构建模型,以弥补本项目训练样本不足。

image.png

2.1.3 图像质量差

汉文和彝文古籍都经历了数代传承、战火与自然风蚀的洗礼,难免出现页面残缺、霉斑污渍等影响图像质量问题。

此外,由于彝文古籍的保存环境更为艰苦,文本还呈现墨色深浅不一、字符间距和行距大小不一的情况。合合信息智能文字识别技术可对图像质量进行增强,提升文字识别效率与准确性。

2.1.4 笔画相近,增加识别难度:

彝文字从来没有统一过,不仅异体字(两个或多个视觉上完全不同的字)很多,还存在大量的“变体字”,也即各个地方的布摩为防止敌方破译其经书而故意在现有字形上增加或减少一两个笔画产生的。

比如:下图中表示“种类”的彝文字[mo21]/[mɯ33]的四个变体(邵文苑供图)

image.png

比如下面两个形似,但是确实两个完全不同的文字,分别为“酒”、“仪礼”

image.png

2.1.5 异体众多

古彝文每个字的异体写法少则2-3个,多则几十种,前文已提及未经整理规范的古彝文字符数高达了87000余个,比康熙字典的字数还多,给识别带来极大困难。

除此以外,彝文古籍还存在“同音字混用”的现象:为了不使某些字的写法失传,布摩会在抄写两句重复经文时,会故意让第一句话采用本字,而在第二句中的相同位置用同音字来替换,合合信息智能文字识别技术将有助于应对文字识别中“理解、认知”层面的难题。

2.2 前景

随着科技的不断发展,这些挑战是可以克服的。古彝文是中国传统文化中的重要组成部分,其传承与发扬具有深远的意义。

AI识别技术为古彝文的识别和传承提供了有力的工具,可以帮助我们更好地理解和传承彝族文化。通过AI识别技术,我们可以将古彝文带入数字时代,为中国传统文化的传承和发扬做出新的贡献,让这一宝贵的文化遗产得以继续传承下去。

三、合合信息AI识别技术

3.1 智能文字识别技术

智能文字识别技术是合合信息核心技术之一,主要由智能图像处理、基于深度学习的复杂场景文字识别,自然语言处理(NLP)三大核心模块组成。


其中,智能图像处理技术可对曲面、阴影、摩尔纹等文档图像进行精准的矫正处理,为接下来的文字信息提取、识别创造了良好的条件;复杂场景文字识别技术可适应多语言、多版式、多样式等复杂场景,以进行文字提取,并结合领先的NLP技术,对识别出的结果进行语义理解。


近三年来,合合信息智能文字识别技术先后在ICDAR、ICPR等人工智能国际竞赛中斩获16项冠军,学术成果在CVPR、AAAI、ACL等顶会上发表,相关项目获中国图象图形学学会(CSIG)科技进步奖二等奖。

3.2 古文识别应用

合合信息在古文字识别领域已有了一定的积累和成果。在2021年、2022年的世界人工智能大会上,合合信息展现了智能文字识别技术在甲骨文、西周钟鼎文(金文)中的应用,获得了包括央视、人民日报、新华社等上百家主流媒体的关注。


虽然古彝文的识别研究尚处于起步阶段,但在引入先进的AI技术来建立统一的数据库以后,对于增强古彝文研究的连续性、降低繁琐的检索工作无疑有极大帮助。与古彝文数字化相关的研究目前还相对稀少,本项目将填补当前国内外研究的空白。


在过去的十几年中,合合信息以智能文字识别技术为核心,在图像的复杂版式识别、结构化智能理解层面做了大量的研究,并取得优秀的应用效果,为古彝文识别提供了技术支持。

校企合作

2022年12月21日,合合信息与上海大学社会学院正式签署校企合作协议,旨在完成以国家珍贵古籍《西南彝志》为中心的“贵州古彝文图像识别及数字化校对项目”。


双方将不断探索用智能文字识别技术赋能海量古彝文原籍数字化的道路,这一工作在民族传统文化日渐濒危的当下有着独特的意义。


合合信息前期在甲骨文、金文中所作的研究,也让古彝文识别成为一件“水到渠成”的事情:甲骨文和古彝文追溯源头都属于骨刻文,文字自骨刻文起,后发展出甲骨文、金文、小篆、隶书、楷书等,文字间的识别有相通之处。


此次与上海大学联合开启的“贵州古彝文图像识别及数字化校对项目”校企合作,也成为合合信息智能文字识别技术赋能小语种保护及古文化传承的重要里程碑事件。


四、AI技术效果

猜字识字

合合信息旗下扫描全能王与上海大学、华南理工大学共同研发识别古彜文基础编码已经完成,此基础编码将帮助后续古彜文的检测、识别、标注,帮助学者解读更多古彜文古籍。

image.png  

AI文档能力修复古籍

AI文档能力修复古籍呈现高清

利用智能高清滤镜将古籍水印、残旧等痕迹去除复现高清古籍

相关识别及古彜文编码仍在测试完善中

image.pngimage.png

五、中秋祝福

中秋快到啦,我们用古彝文写一个中秋祝福吧!来看下

猜猜这是什么意思?

image.png

image.png

哈哈哈,肯定猜不到,这个祝福送给大家:

愿:

身体倍棒,

多吃多走多看看,

少病少痛少感冒

image.gif

相关文章
|
1月前
|
机器学习/深度学习 人工智能 监控
AI算法分析,智慧城管AI智能识别系统源码
AI视频分析技术应用于智慧城管系统,通过监控摄像头实时识别违法行为,如违规摆摊、垃圾、违章停车等,实现非现场执法和预警。算法平台检测街面秩序(出店、游商、机动车、占道)和市容环境(垃圾、晾晒、垃圾桶、路面不洁、漂浮物、乱堆物料),助力及时处理问题,提升城市管理效率。
AI算法分析,智慧城管AI智能识别系统源码
|
1月前
|
机器学习/深度学习 人工智能 算法
未来AI技术在医疗领域的应用
传统医疗体系一直面临着挑战,而随着人工智能技术的不断发展,AI在医疗领域的应用正在成为一种新的趋势。本文将探讨未来AI技术在医疗领域的应用,包括诊断、治疗和预防等方面,以及AI与传统医疗模式的结合,展望未来医疗行业的发展方向。
|
29天前
|
机器学习/深度学习 人工智能 运维
【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)(二)
【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)
59 1
|
29天前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)(一)
【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)
74 1
|
1月前
|
机器学习/深度学习 人工智能 搜索推荐
未来AI技术在医疗领域的应用
随着人工智能技术的不断发展,AI在医疗领域的应用正日益广泛。本文将探讨未来AI技术在医疗领域的潜在价值和影响,以及其对医疗行业和患者的积极意义。
|
10天前
|
机器学习/深度学习 人工智能 算法
未来AI技术的发展与应用前景
随着人工智能(AI)技术的迅速发展,其在各个领域的应用前景备受关注。本文将探讨未来AI技术的发展趋势,以及其在医疗、交通、教育等领域的潜在应用,展望AI技术对未来社会的影响和改变。
17 1
|
16天前
|
人工智能 数据可视化 大数据
从埃森哲《技术展望2024》看AI拐点下的数字化趋势
从埃森哲《技术展望2024》看AI拐点下的数字化趋势
17 0
|
16天前
|
机器学习/深度学习 数据采集 人工智能
|
1月前
|
机器学习/深度学习 数据采集 人工智能
AI技术在医疗诊断中的应用与挑战
在当今信息时代,人工智能技术已经在医学领域展现出巨大的潜力和前景。本文将探讨人工智能在医疗诊断中的应用现状和未来发展,以及所面临的挑战和解决方案。
|
1月前
|
机器学习/深度学习 人工智能 搜索推荐
未来趋势:AI技术在医疗领域的应用与挑战
随着人工智能技术的迅速发展,AI在医疗领域的应用正逐渐成为现实。本文将探讨AI技术在医疗中的潜力与挑战,分析其对医疗行业的影响以及未来发展趋势。