开发者社区> 蓝天白芸朵> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

HanLP极致简繁转换

简介:
+关注继续查看

谈起简繁转换,许多人以为是小意思,按字转换就行了。事实上,汉语历史悠久,地域复杂,发展至今在字符级别存在“一简对多繁”和“一繁对多简”,在词语级别上存在“简繁分歧词”,在港澳台等地则存在“字词习惯不同”的情况。为此,HanLP新增了“简体”“繁体”“臺灣正體”“香港繁體”间的相互转换功能,力图将简繁转换做到极致。

image

关于这些汉语语言上的详情,请参考郭家寶的OpenCC项目。HanLP整合了该项目的词库,用原生的AhoCorasickDoubleArrayTrie算法实现了各语言分支的转换。对于简繁转换模块来说,算法都是类似的,最宝贵的地方在于词库,在此向OpenCC表示敬意和感谢!

快速上手
一个Demo
System.out.println(HanLP.convertToTraditionalChinese("“以后等你当上皇后,就能买草莓庆祝了”。发现一根白头发"));
System.out.println(HanLP.convertToSimplifiedChinese("憑藉筆記簿型電腦寫程式HanLP"));
// 简体转台湾繁体
System.out.println(HanLP.s2tw("hankcs在台湾写代码"));
// 台湾繁体转简体
System.out.println(HanLP.tw2s("hankcs在臺灣寫程式碼"));
// 简体转香港繁体
System.out.println(HanLP.s2hk("hankcs在香港写代码"));
// 香港繁体转简体
System.out.println(HanLP.hk2s("hankcs在香港寫代碼"));
// 香港繁体转台湾繁体
System.out.println(HanLP.hk2tw("hankcs在臺灣寫代碼"));
// 台湾繁体转香港繁体
System.out.println(HanLP.tw2hk("hankcs在香港寫程式碼"));

// 香港/台湾繁体和HanLP标准繁体的互转
System.out.println(HanLP.t2tw("hankcs在臺灣寫代碼"));
System.out.println(HanLP.t2hk("hankcs在臺灣寫代碼"));

System.out.println(HanLP.tw2t("hankcs在臺灣寫程式碼"));
System.out.println(HanLP.hk2t("hankcs在台灣寫代碼"));
输出
「以後等你當上皇后,就能買草莓慶祝了」。發現一根白頭髮
凭借笔记本电脑写程序HanLP
hankcs在臺灣寫程式碼
hankcs在台湾写代码
hankcs在香港寫代碼
hankcs在香港写代码
hankcs在臺灣寫程式碼
hankcs在香港寫代碼
hankcs在臺灣寫程式碼
hankcs在台灣寫代碼
hankcs在臺灣寫代碼
hankcs在臺灣寫代碼
说明
注意在旧版HanLP中,简体“草莓”被转换为“士多啤梨”。后来有用户告诉我“士多啤梨”是香港的用法,不属于通俗意义上的“繁体”,所以在新版中去除了这一转换。而“臺灣”“程式碼”是台湾地区的用法,“台灣”“代碼”则是香港地区的用法,所以

System.out.println(HanLP.t2tw("hankcs在臺灣寫代碼"));
System.out.println(HanLP.t2hk("hankcs在臺灣寫代碼"));
分别输出了:

hankcs在臺灣寫程式碼
hankcs在台灣寫代碼
这里面存在微妙的不同。

基本定义
简体
HanLP中的简体特指大陆地区的简体字。

繁体
HanLP中的繁体是通俗意义上的繁体中文,即受众最广的繁体表示。如果说OpenCC定义了自己的“OpenCC繁体标准”的话,那么这也可以算得上“HanLP繁体标准”。

香港繁體
指的是香港地区使用的繁体中文,据OpenCC的wiki介绍,属于“香港小學學習字詞表標準”。

臺灣正體
指的是台湾地区使用的繁体中文,即“臺灣正體標準”。

接口一览
HanLP支持上述四种中文任意两种之间的转换:

/**

  • 简转繁,是{@link com.hankcs.hanlp.HanLP#convertToTraditionalChinese(java.lang.String)}的简称
  • @param s 简体中文
  • @return 繁体中文(大陆标准)
    */

public static String s2t(String s)
{

return HanLP.convertToTraditionalChinese(s);

}

/**

  • 繁转简,是{@link HanLP#convertToSimplifiedChinese(String)}的简称
  • @param t 繁体中文(大陆标准)
  • @return 简体中文
    */

public static String t2s(String t)
{

return HanLP.convertToSimplifiedChinese(t);

}

/**

  • 簡體到臺灣正體
  • @param s 簡體
  • @return 臺灣正體
    */

public static String s2tw(String s)
{

return SimplifiedToTaiwanChineseDictionary.convertToTraditionalTaiwanChinese(s);

}

/**

  • 臺灣正體到簡體
  • @param tw 臺灣正體
  • @return 簡體
    */

public static String tw2s(String tw)
{

return TaiwanToSimplifiedChineseDictionary.convertToSimplifiedChinese(tw);

}

/**

  • 簡體到香港繁體
  • @param s 簡體
  • @return 香港繁體
    */

public static String s2hk(String s)
{

return SimplifiedToHongKongChineseDictionary.convertToTraditionalHongKongChinese(s);

}

/**

  • 香港繁體到簡體
  • @param hk 香港繁體
  • @return 簡體
    */

public static String hk2s(String hk)
{

return HongKongToSimplifiedChineseDictionary.convertToSimplifiedChinese(hk);

}

/**

  • 繁體到臺灣正體
  • @param t 繁體
  • @return 臺灣正體
    */

public static String t2tw(String t)
{

return TraditionalToTaiwanChineseDictionary.convertToTaiwanChinese(t);

}

/**

  • 臺灣正體到繁體
  • @param tw 臺灣正體
  • @return 繁體
    */

public static String tw2t(String tw)
{

return TaiwanToTraditionalChineseDictionary.convertToTraditionalChinese(tw);

}

/**

  • 繁體到香港繁體
  • @param t 繁體
  • @return 香港繁體
    */

public static String t2hk(String t)
{

return TraditionalToHongKongChineseDictionary.convertToHongKongTraditionalChinese(t);

}

/**

  • 香港繁體到繁體
  • @param hk 香港繁體
  • @return 繁體
    */

public static String hk2t(String hk)
{

return HongKongToTraditionalChineseDictionary.convertToTraditionalChinese(hk);

}

/**

  • 香港繁體到臺灣正體
  • @param hk 香港繁體
  • @return 臺灣正體
    */

public static String hk2tw(String hk)
{

return HongKongToTaiwanChineseDictionary.convertToTraditionalTaiwanChinese(hk);

}

/**

  • 臺灣正體到香港繁體
  • @param tw 臺灣正體
  • @return 香港繁體
    */

public static String tw2hk(String tw)
{

return TaiwanToHongKongChineseDictionary.convertToTraditionalHongKongChinese(tw);

}
共计12种接口。命名规范按照X2Y的形式,X表示源语种,Y表示目标语种。

词库
由于我并没有OpenCC作者那样深厚的繁体中文语言知识,所以这些接口未必能完美地满足广大繁体中文用户的需求,希望大家多多包涵,提出宝贵意见。

所有的词库都是以文本方式维护,命名规则与接口保持一致。不过,词典的文本形式只有如下四种:

s2t.txt t2hk.txt t2s.txt t2tw.txt
类似tw2hk的词典并不存在,tw2hk只存在自动推导出的bin文件,其推导规则为

逆转t2tw得到tw2t
利用t2hk得到tw2hk
推导由HanLP程序控制,用户修改推导过程中用到的四个词典后需要删除推导结果的缓存文件才能生效。其他8种接口的推导过程类似于此,不再赘述。

文章来源于网络

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
中文分词模型体验
中文分词任务就是把连续的汉字分隔成具有语言语义学意义的词汇。中文的书写习惯不像英文等日耳曼语系语言词与词之前显式的用空格分隔。为了让计算机理解中文文本,通常来说中文信息处理的第一步就是进行文本分词。
0 0
高效、轻量的深度学习框架MNN
MNN是一个高效、轻量的深度学习框架。
0 0
简单易用高性能!一文了解开源迁移学习框架EasyTransfer
近日,阿里云正式开源了深度迁移学习框架EasyTransfer,这是业界首个面向NLP场景的深度迁移学习框架。该框架由阿里云机器学习PAI团队研发,让自然语言处理场景的模型预训练和迁移学习开发与部署更加简单和高效。本文将对EasyTransfer进行深度解读。开源地址:https://github.com/alibaba/EasyTransfer
0 0
分词工具Hanlp基于感知机的中文分词框架
结构化感知机标注框架是一套利用感知机做序列标注任务,并且应用到中文分词、词性标注与命名实体识别这三个问题的完整在线学习框架,该框架利用
1743 0
HanLP极致简繁转换详细讲解
谈起简繁转换,许多人以为是小意思,按字转换就行了。事实上,汉语历史悠久,地域复杂,发展至今在字符级别存在“一简对多繁”和“一繁对多简”,在词语级别上存在“简繁分歧词”,在港澳台等地则存在“字词习惯不同”的情况。
1964 0
盘古分词,记灵一下
http://pangusegment.codeplex.com PanGu.dll 调用方法 初始化 在进程启动时,我们需要对盘古分词进行初始化,初始化的调用代码如下: 默认方式初始化 PanGu.
800 0
文章
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载