本篇分享一个hanlp添加自定义字典的方法，供大家参考！
总共分为两步：
第一步：将自定义的字典放到custom目录下，然后删除CustomDicionary.txt.bin，因为分词的时候会读这个文件。如果没有的话它会根据配置文件中路径去加载字典生成bin文件。
第二步：去配置文件把自己添加自定义的文件的路径添加进去，注意一定要添加末尾后面而且结束时不能有;号，我添加在其他位置都不好使。而且相对路径也不好使
上面是把bin文件删掉后跑起来的样子，会等一两分钟生成bin文件。
hanlp添加自定义字典的步骤介绍
2019-07-12
923
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本篇分享一个hanlp添加自定义字典的方法，供大家参考！总共分为两步：第一步：将自定义的字典放到custom目录下，然后删除CustomDicionary.txt.bin，因为分词的时候会读这个文件。
目录
相关文章
|
2月前
|
存储
自然语言处理
数据库
|
机器学习/深度学习
存储
自然语言处理
Jieba分词模式详解、词库的添加与删除、自定义词库失败的处理
Jieba（结巴）是一个中文分词第三方库，它可以帮助我们将一段中文文本分成一个个独立的词语。Jieba具有以下特点：
简单易用：Jieba提供了简洁的API接口，易于使用和扩展。可以快速地实现中文分词功能。
高效准确：Jieba采用了基于前缀词典和动态规划算法的分词方法，能够高效准确地处理各种中文文本。
支持多种分词模式：Jieba提供了三种分词模式：精确模式、全模式和搜索引擎模式，可以根据不同的应用场景选择合适的模式。
832
0
1
|
C#
Python
|
自然语言处理
搜索推荐
Python
|
自然语言处理
Windows
|
索引
Python
Python已有列表和字典,为什么还需要元组?
学习了列表和字典之后,再学习元组感觉它没有使用的必要.而且列表和字典已经够用,为什么有了列表还需要元组呢?这个Python特有的数据类型有何作用呢?
元组是由简单的对象构成的,他是和列表非常相似的数据类型,但元组是不可变的,他不支持任何方法的调用,也就是说,我们不能编辑和改变元组,其实正是因为元组的特有性质:不可变性;这个特性提供了一种完整性,他可以保证元组所在的处不会被程序修改,正是列表所不具备的,而且这使得元组还可以作为字典的键值,总的来说,元组可以处理那些固定关系的问题
364
0
0
|
自然语言处理
算法
HanLP用户自定义词典源码分析详解
HanLP作者在HanLP issue783:上面说：词典不等于分词、分词不等于自然语言处理；推荐使用语料而不是词典去修正统计模型。由于分词算法不能将一些“特定领域”的句子分词正确，于是为了纠正分词结果，把想要的分词结果添加到自定义词库中，但最好使用语料来纠正分词的结果。
1727
0
1
|
自然语言处理
应用服务中间件
nginx
hanlp 加载远程词库示例
说明
·目前的实现方式是以远程词库的内容重新构建CustomDictionary.trie,demo主要是为了实现同步远程词库，对性能暂不作考虑,对性能要求要以CustomDictionary.dat为基础实现
按hanlp作者述 trie后期可能会取消
目前CustomDictionary使用DAT储存词典文件中的词语，用BinTrie储存动态加入的词语，前者性能高，后者性能低
之所以保留动态增删功能，一方面是历史遗留特性，另一方面是调试用；来可能会去掉动态增删特性。
1219
0
0
|
容器
存储
如何使用Hanlp加载大字典
问题
因为需要加载一个 近 1G 的字典到Hanlp中，一开始使用了CustomDictionay.add() 方法来一条条的加载，果然到了中间，维护DoubleArraTre 的成本太高，添加一个节点，都会很长时间，本来时间长一点没有关系，只要训练出.bin 的文件，第二次加载就会很快，然而作为以空间换时间的DAT结构，内存消耗很大，预料之内的出现了
1 out of memory: heap size
的问题。
1642
0
0
热门文章
最新文章
1
《Stata统计分析与应用（第2版）》一3.4 图形的保存、合并及修改
2
Maven 3.6.3 的下载、安装、配置、检测（详细讲解）
3
基于区块链的机器学习模型创建方案
4
WPF listview item mouse enter/over popup
5
DevExpress 10.2.4系列-ASPxListBox根据列值不同设置不同图标
6
[Spring]支持注解的Spring调度器
7
红帽7.4新增的安全特性
8
hdu 1800 Flying to the Mars
9
研究 flex 4 开发后台管理项目（1）
10
Error: XML response that was returned...
1
《docker高级篇（大厂进阶）：2.DockerFile解析》包括：是什么、DockerFile构建过程解析、DockerFile常用保留字指令、案例、小总结
114
2
《Java 人工智能开发：Eclipse 与 IntelliJ IDEA 双雄助力》
43
3
《Java 在开源 AI 框架中的中流砥柱角色》
33
4
《Java 与大数据框架：AI 数据预处理的强力联盟》
37
5
《Java 优化秘籍：计算密集型 AI 任务加速指南》
33
6
《Java 与 OpenAI 协同：开启智能编程新范式》
26
7
uniapp开发鸿蒙，是前端新出路吗？
29
8
鸿蒙(HarmonyOS)原生AI能力之文本识别
37
9
鸿蒙开发之PixelMap介绍与实现图片变换
33
10
鸿蒙(HarmonyOS)开发之无须申请权限写入图片到相册
39