pyhanlp 繁简转换,拼音转换与字符正则化

简介:

繁简转换
HanLP几乎实现了所有我们需要的繁简转换方式,并且已经封装到了HanLP中,使得我们可以轻松的使用,而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。

说明
HanLP能够识别简繁分歧词,比如打印机=印表機。许多简繁转换工具不能区分“以后”“皇后”中的两个“后”字,HanLP可以。
算法详解
《汉字转拼音与简繁转换的Java实现》
image
image
汉字转拼音
HanLP中的汉字转拼音功能也十分的强大。

说明
HanLP不仅支持基础的汉字转拼音,还支持声母、韵母、音调、音标和输入法首字母首声母功能。
HanLP能够识别多音字,也能给繁体中文注拼音。
最重要的是,HanLP采用的模式匹配升级到AhoCorasickDoubleArrayTrie,性能大幅提升,能够提供毫秒级的响应速度!
算法详解
《汉字转拼音与简繁转换的Java实现》
image
image
拼音转中文
HanLP中的数据结构和接口是灵活的,组合这些接口,可以自己创造新功能,我们可以使用AhoCorasickDoubleArrayTrie实现的最长分词器,需要用户调用setTrie()提供一个AhoCorasickDoubleArrayTrie
image
image
字符正则化
演示正规化字符配置项的效果(繁体->简体,全角->半角,大写->小写)。
该配置项位于hanlp.properties中,通过Normalization=true来开启(现在直接通过HanLP.Config.Normalization开启即可)。

切换配置后必须删除CustomDictionary.txt.bin缓存,否则只影响动态插入的新词。
在我动笔前一个星期,已经有同学添加了,添加自定义词典之后,自动删除缓存的功能。地址请点击https://github.com/hankcs/HanLP/pull/954,现在只需要开启正则化即可
image

image
21[现在, 的, hanlp, 已经, 新增, 了, 新增, 自定义, 词典, 之后, ,, 自动, 删除, 快, 取, 的, 功能, ,, 现在, 只, 需要, 开启, 正, 则, 化, 即可]

文章来源于Font Tian的博客

相关文章
|
9月前
|
存储 弹性计算 关系型数据库
2026阿里云服务器2核2G3M99元和2核4G5M199元:活动规则与购买和续费注意事项解析
进入2026年,阿里云服务器经济型e实例云服务器2核2G3M带宽99元1年,通用算力型u1实例2核4G5M带宽199元1年,这两款特惠云服务器继续有效。虽然这两款云服务器是新老用户同享的,而且续费价格不变,但是在购买和续费过程中还是有一些注意事项需要我们提前了解的。
1713 13
|
安全
选择最佳供应商:ERP系统的供应商选择与评估方法论
选择最佳供应商:ERP系统的供应商选择与评估方法论
1875 0
|
前端开发 搜索推荐 API
webpack和vite devServer的进阶用法:配置proxy修改请求和响应
在前端日常开发中我们一般都是配置本地开发服务器的proxy来解决跨域问题,查看官网文档或者通过搜索引擎搜出来的都是比较基础的用法。
2927 0
|
8月前
|
自然语言处理 Linux 语音技术
大模型应用:一文读懂TTS技术应用:基础入门到实战的全场景指南.18
本文系统讲解TTS(文本转语音)技术,涵盖原理、指标与实战:详解pyttsx3(离线)和gTTS(在线)两大入门方案,演示单文本播报、多语言生成、批量转换、情感模拟、实时提醒及Flask接口封装等全场景应用,并提供选型建议与常见问题解决方案。
1783 10
|
6月前
|
人工智能
HappyHorse上架阿里云百炼,开启AI视频创作新纪元
阿里巴巴旗下AI视频模型HappyHorse上线阿里云百炼平台,支持文生视频、图生视频、多图参考生成与编辑,具备15秒多镜头叙事、多画幅适配及1080P超清输出能力,大幅降低创作门槛,赋能全场景视频生产。
|
6月前
|
监控 安全 数据挖掘
流量代理不是“玄学”,看完这篇彻底搞懂它的工作原理
流量代理服务是帮人们实现匿名上网、保护网络隐私的实用方式,核心依靠独享动态住宅IP和超高匿名代理两大技术,可有效隐藏真实IP,防止数据泄露。它通过代理服务器中转网络请求,提升上网安全性与访问灵活性,适配注重隐私保护的个人和企业,是当下守护在线隐私、规避网络风险的重要选择。
|
机器学习/深度学习 人工智能 编解码
深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
【9月更文挑战第2天】深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
 深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
|
SQL 关系型数据库 MySQL
MySQL AUTO_INCREMENT 原理解析
在关系型数据库MySQL中,AUTO_INCREMENT是数据库的一个属性,该属性使得在申明了AUTO_INCREMENT的列中可以自动生成唯一的递增值。本文详细介绍了在InnoDB及MyISAM引擎中AUTO_INCREMENT的使用原理及一些容易被忽略的问题。
1523 0
|
人工智能 数据可视化 安全
2025年销售自动化工具选型指南
本文探讨了企业在数字经济时代选择合适CRM系统的重要性,分析了选型的5大核心维度:AI能力、全流程闭环管理、生态集成能力、数据安全合规及供应商综合实力。同时对比了5家国内外CRM厂商,如Salesforce、纷享销客、Hubspot等,并指出企业常遇的3大选型误区,包括功能冗余、忽视数据迁移成本和迷信行业模板。文章强调,适合企业的CRM需与战略、管理和业务流程深度适配,而非单纯追求技术堆砌。最终提醒管理者,选择CRM时应以实际需求为导向,而非盲目迷信国际品牌。
|
网络协议 安全 Python
我们将使用Python的内置库`http.server`来创建一个简单的Web服务器。虽然这个示例相对简单,但我们可以围绕它展开许多讨论,包括HTTP协议、网络编程、异常处理、多线程等。
我们将使用Python的内置库`http.server`来创建一个简单的Web服务器。虽然这个示例相对简单,但我们可以围绕它展开许多讨论,包括HTTP协议、网络编程、异常处理、多线程等。