汉语言处理包 HanLP v1.3.5,新功能、优化与维护

简介:

HanLP v1.3.5 更新内容:

大幅优化CRF分词和二阶HMM分词,重构CharacterBasedGenerativeModelSegment

自定义词典支持热更新:#563 ,ngram模型支持热加载:#580

新增一个提高用户词典优先级的开关:#633

支持98年人民日报的复合词语料格式,如"[中央/n 人民/n 广播/vn 电台/n]nt"

开放TextRank关键词提取中的最大迭代次数参数:#577

为Term添加equal方法

TextRankKeyword 提取窗口相近词的强化

文本摘要方法支持自定义句子分隔符

提高AC自动机健壮性,添加hasKeyword接口

修复BinTrie.remove不存在的key时导致的问题:#540

解决mini模型下同时打开所有命名实体识别和数词识别时触发的问题:#542

CharTable.txt 添加上下标字符的对应关系

将“t”等不可打印的字符视作分隔符:#584

中文数词与阿拉伯数词切分开

修正全角年份识别中字符串长度错误,修正数字识别工具的错误,增加测试代码。支持读取包含BOM的文本文件。

校对CoreNatureDictionary.txt,删除以分号开头的错误词语:#221 (comment)

修复CoNLLWord中toString方法的bug

微调人名识别模型:#562 删除人名识别模型中的高频动词D标签,降低误命中率,音译人名识别取消外国地名触发

修复Nature.fromString和IOUtil.loadDictionary:#626

修正“还款”的拼音:#565 修正简繁一多对应校验表/梁→梁樑(樑為梁的異體字,由簡體轉為繁體時僅需採用梁即可):#606

数据包依然兼容data-for-1.3.3.zip: 国内网盘 或 海外連結 md5=71f6fbbcde4ad70b5b97d4a01ca03c3c
获取最新版的数据包,请fork一份并git clone https://github.com/YourName/HanLP.git。

Portable版同步升级到v1.3.5

    <dependency>
        <groupId>com.hankcs</groupId>
        <artifactId>hanlp</artifactId>
        <version>portable-1.3.5</version>
    </dependency>

HanLP是由一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

在提供丰富功能的同时,HanLP内部模块坚持低耦合、模型坚持惰性加载、服务坚持静态提供、词典坚持明文发布,使用非常方便,同时自带一些语料处理工具,帮助用户训练自己的模型。

文章来源于网络

相关文章
|
小程序 网络安全 Windows
swoole(二)ws与wss的区别
关于ws与wss的区别这里简单的说一下我目前的见解。 如果你有更多的见解欢迎在下方留言讨论。 最简单的理解就是: 服务器上服务端用的是:websocket协议(支持客户端的ws访问) 服务器上服务端用的是:websocket协议+TLS(支持客户端的wss访问) 客户端上用的是: ws协议或者wss协议 Wss与ws其实就和http与https的关系,wss需要验证域名证书,ws不需要验证域名证书。 这个其实都不重要。我们在开发的时候关系不是很大。 下边的才是我要说的重点: Ws链接可以使用IP+端口号的形式访问。 Wss链接只能使用域名的形式访问,因为服务器端需要通过域名来找对应的ssl证书
1791 0
|
10月前
|
存储 机器学习/深度学习 人工智能
GEO 优化必备:RAG 技术全解析(基于知识密集型 NLP 经典论文)
2020 年论文提出的 RAG(检索增强生成),专治大模型 “幻觉、知识过时” 等落地痛点。它将 “检索外部知识” 与 “生成回答” 深度绑定,先精准抓取相关知识片段,再让模型基于证据生成内容。通过端到端联合训练,检索与生成协同优化,事实准确率显著提升,幻觉率大降。无需重训模型即可更新知识,还能追溯答案来源。如今成企业客服、医疗法律等领域刚需,推动大模型从 “通用” 走向 “可信实用”。这让我们做GEO优化就有了基础理论和方法。
GEO 优化必备:RAG 技术全解析(基于知识密集型 NLP 经典论文)
|
人工智能 自然语言处理 搜索推荐
马斯克AI Grok 3 国内如何使用?请收下这篇新手指南!
Grok AI,由埃隆·马斯克(Elon Musk)旗下的人工智能初创公司 xAI 于 2023 年 11 月推出,迅速成为 AI 领域的一颗耀眼新星
9106 80
|
缓存 物联网 异构计算
智谱发布新一代旗舰模型 GLM-4.5,面向推理、代码与智能体的开源SOTA模型!
7月28日晚,智谱带来新一代旗舰模型——GLM-4.5!GLM-4.5 系列模型是专为智能体设计的基础模型。GLM-4.5拥有 3550 亿总参数量,其中 320 亿活跃参数;GLM-4.5-Air 采用更紧凑的设计,拥有 1060 亿总参数量,其中 120 亿活跃参数。GLM-4.5模型统一了推理、编码和智能体能力,以满足智能体应用的复杂需求。
1779 0
|
调度 开发者
【Freertos基础入门】2个Freertos的Delay函数
【Freertos基础入门】2个Freertos的Delay函数
2610 1
|
算法 Java 测试技术
Benchmark.NET:让 C# 测试程序性能变得既酷又简单
Benchmark.NET是一款专为 .NET 平台设计的性能基准测试框架,它可以帮助你测量代码的执行时间、内存使用情况等性能指标。它就像是你代码的 "健身教练",帮助你找到瓶颈,优化性能,让你的应用跑得更快、更稳!希望这个小教程能让你在追求高性能的路上越走越远,享受编程带来的无限乐趣!
1237 13
ly~
|
传感器 存储 供应链
大数据在供应链管理中的具体应用案例
以下是大数据在供应链管理中的具体应用案例:沃尔玛通过整合内外部数据进行需求预测,提前调配应急物资;亚马逊利用大数据优化库存管理,提高周转率并降低成本;DHL通过传感器收集数据优化物流路线,提升运输效率。大数据的优势在于提高需求预测准确性、优化库存管理、提升物流效率、增强供应商管理和提高供应链可视性,从而实现全方位的供应链优化。
ly~
3819 2
|
JavaScript Java 测试技术
基于SpringBoot+Vue+uniapp的宠物领养系统的详细设计和实现(源码+lw+部署文档+讲解等)
基于SpringBoot+Vue+uniapp的宠物领养系统的详细设计和实现(源码+lw+部署文档+讲解等)
456 0
|
存储 供应链 Python
用Python代码打造超市收银系统
用Python代码打造超市收银系统
1262 1
|
缓存 黑灰产治理
Autojs4.1.0实战教程---抖音极速版清理缓存
Autojs4.1.0实战教程---抖音极速版清理缓存
578 0