大数据资讯
大数据资讯_个人页
大数据资讯
文章
149
问答
0
视频
0
个人介绍
hadoop爱好者
擅长的技术
- Java
- Python
- 容器
- 数据库
-
发表了文章 2019-08-09
HanLP封装为web services服务的过程介绍
前几天的召开的2019年大数据生态产业大会不知道大家关注到没有，看到消息是hanlp2.0版本发布了。不知道hanlp2.0版本又将带来哪些新的变化？准备近期看能够拿到一些hanlp2.0的资料，如果能顺利拿到的话，到时候分享给大家！今天分享这篇是关于将hanlp封装到web services服务中的。
-
发表了文章 2019-08-07
大快搜索黑科技亮相2019（第四届）大数据产业生态大会
深耕核心技术·赋能数字化转型——大快搜索黑科技亮相2019（第四届）大数据产业生态大会，斩获多项大奖。 图1：2019（第四届）大数据产业生态大会8月1日，以“激活数据价值 释放数据原力”为主题的“2019（第四届）大数据产业生态大会”在北京拉开序幕。
-
发表了文章 2019-08-07
hanlp分词工具应用案例：商品图自动推荐功能的应用
本篇分享一个hanlp分词工具应用的案例，简单来说就是做一图库，让商家轻松方便的配置商品的图片，最好是可以一键完成配置的。先看一下效果图吧： 商品单个推荐效果：匹配度高的放在最前面 这个想法很好，那怎么实现了。
-
发表了文章 2019-08-05
HanLP分词工具中的ViterbiSegment分词流程
本篇文章将重点讲解HanLP的ViterbiSegment分词器类，而不涉及感知机和条件随机场分词器，也不涉及基于字的分词器。因为这些分词器都不是我们在实践中常用的，而且ViterbiSegment也是作者直接封装到HanLP类中的分词器，作者也推荐使用该分词器，同时文本分类包以及其他一些自然语言处理任务包中的分词器也都间接使用了ViterbiSegment分词器。
-
发表了文章 2019-07-29
Hanlp-地名识别调试方法详解
HanLP收词特别是实体比较多，因此特别容易造成误识别。下边举几个地名误识别的例子，需要指出的是，后边的机构名识别也以地名识别为基础，因此，如果地名识别不准确，也会导致机构名识别不准确。
-
发表了文章 2019-07-26
自然语言处理工具HanLP-基于层叠HMM地名识别
本篇接上一篇内容《HanLP-基于HMM-Viterbi的人名识别原理介绍》介绍一下层叠隐马的原理。首先说一下上一篇介绍的人名识别效果对比： 只有Jieba识别出的人名准确率极低，基本为地名或复杂地名组成部分或复杂机构名组成部分。
-
发表了文章 2019-07-24
HanLP-基于HMM-Viterbi的人名识别原理介绍
Hanlp自然语言处理包中的基于HMM-Viterbi处理人名识别的内容大概在年初的有分享过这类的文章，时间稍微久了一点，有点忘记了。看了 baiziyu 分享的这篇比我之前分享的要简单明了的多。下面就把文章分享给大家交流学习之用，部分内容有做修改。
-
发表了文章 2019-07-22
HanLP-朴素贝叶斯分类预测缺陷
文章整理自 baiziyu 的知乎专栏，感兴趣的朋友可以去关注下这位大神的专栏，很多关于自然语言处理的文章写的很不错。昨天看到他的分享的两篇关于朴素贝叶斯分类预测的文章，整理了一下分享给给大家，文章已做部分修改！ 朴素贝叶斯分类时，最好取对数变相乘为相加，防止预测结果溢出。
-
发表了文章 2019-07-19
HanLP-地名识别调试方法
HanLP收词特别是实体比较多，因此特别容易造成误识别。下边举几个地名误识别的例子，需要指出的是，后边的机构名识别也以地名识别为基础，因此，如果地名识别不准确，也会导致机构名识别不准确。 类型1 数字+地名[1] 暗访哈尔滨网约车：下10单来7辆“黑车” 1辆套牌[2] 房天下每日成交5月12日...
-
发表了文章 2019-07-17
自然语言处理工具python调用hanlp的方法步骤
Python调用hanlp的方法此前有分享过，本篇文章分享自“逍遥自在017”的博客，个别处有修改，阅读时请注意！1.首先安装jpype首先各种坑，jdk和python 版本位数必须一致，我用的是JPype1-py3 版本号0.5.5.2 、1.6jdk和Python3.5，win7 64位下亲测没问题。
-
发表了文章 2019-07-12
hanlp添加自定义字典的步骤介绍
本篇分享一个hanlp添加自定义字典的方法，供大家参考！总共分为两步：第一步：将自定义的字典放到custom目录下，然后删除CustomDicionary.txt.bin，因为分词的时候会读这个文件。
-
发表了文章 2019-07-10
Spring MVCD框架中调用HanLP分词的方法
项目简要：关于java web的一个项目，用的Spring MVCd 框架。鉴于参与此次项目的人中并不是所人都做的Spring，为了能够提高效率，建议大家是先抛开SPring来写自己负责的模块，最后再把各个模块在Spring里面集成。
-
发表了文章 2019-07-01
基于hanlp的es分词插件
摘要：elasticsearch是使用比较广泛的分布式搜索引擎，es提供了一个的单字分词工具，还有一个分词插件ik使用比较广泛，hanlp是一个自然语言处理包，能更好的根据上下文的语义，人名，地名，组织机构名等来切分词Elasticsearch默认分词 输出： IK分词 输出： hanlp...
-
发表了文章 2019-06-21
Ansj与hanlp分词工具对比
一、Ansj1、利用DicAnalysis可以自定义词库： 2、但是自定义词库存在局限性，导致有些情况无效：比如：“不好用“的正常分词结果：“不好，用”。 （1）当自定义词库”好用“时，词库无效，分词结果不变。
-
发表了文章 2019-06-14
HanLP-分类模块的分词器介绍
最近发现一个很勤快的大神在分享他的一些实操经验，看了一些他自己关于hanlp方面的文章，写的挺好的！转载过来分享给大家！以下为分享原文（无意义的内容已经做了删除）如下图所示，HanLP的分类模块中单独封装了适用分类的分词器，当然这些分词器都是对HanLP提供的分词器的封装。
-
发表了文章 2019-06-05
HanLP-最短路径分词
今天介绍的内容是最短路径分词。最近换回了thinkpad x1，原因是mac的13.3寸的屏幕看代码实在是不方便，也可能是人老了吧，^_^。等把HanLP词法分析介绍结束后，还是会换回macbook pro的。
-
发表了文章 2019-05-31
NLP自然语言处理中英文分词工具集锦与基本使用介绍
一、中文分词工具（1）Jieba （2）snowNLP分词工具 （3）thulac分词工具 （4）pynlpir 分词工具 （5）StanfordCoreNLP分词工具1.from stanfordcorenlp import StanfordCoreNLP2.
-
发表了文章 2019-05-29
部分常用分词工具使用整理
以下分词工具均能在Python环境中直接调用（排名不分先后）。1、jieba（结巴分词） 免费使用2、HanLP（汉语言处理包） 免费使用3、SnowNLP（中文的类库） 免费使用4、FoolNLTK（中文处理工具包） 免费使用5、Jiagu（甲骨NLP） 免费使用6、pyltp（哈工大语言云） 商用需要付费7、THULAC（清华中文词法分析工具包） 商用需要付费8、NLPIR（汉语分词系统） 付费使用 1、jieba（结巴分词）“结巴”中文分词：做最好的 Python 中文分词组件。
-
发表了文章 2019-05-27
HanLP-实词分词器详解
在进行文本分类（非情感分类）时，我们经常只保留实词（名、动、形）等词，为了文本分类的分词方便，HanLP专门提供了实词分词器类NotionalTokenizer，同时在分类数据集加载处理时，默认使用了NotionalTokenizer分词器。
-
发表了文章 2019-05-24
Eclipse myeclipse下配置HanLP的教程
一、说明博主的配置1：window102：myeclipse3：jdk1.8备注：文章分享自贾继康的博客，博客使用的hanlp是1.6.8的版本。大家可以去下载最新的1.7版本了，也比较推荐使用最新的这个版本！二、资源获取 1、hanlp jar包获取：可以github上下载。
-
发表了文章 2019-05-22
HanLP-停用词表的使用示例
停用词表的修改停用词表在“pyhanlpstaticdatadictionary”路径下的“stopwords.txt”文件中，CoreStopWordDictionary.apply方法支持去除停用词。
-
发表了文章 2019-05-17
自然语言处理工具HanLP-N最短路径分词
本篇给大家分享baiziyu 写的HanLP 中的N-最短路径分词。以为下分享的原文，部分地方有稍作修改，内容仅供大家学习交流！首先说明在HanLP对外提供的接口中没有使用N-最短路径分词器的，作者在官网中写到这个分词器对于实体识别来说会比最短路径分词稍好，但是它的速度会很慢。
-
发表了文章 2019-05-08
Spark中分布式使用HanLP（1.7.0)分词示例
HanLP分词，如README中所说，如果没有特殊需求，可以通过maven配置，如果要添加自定义词典，需要下载“依赖jar包和用户字典".分享某大神的示例经验:是直接"java xf hanlp-1.6.8-sources.jar" 解压源码，把源码加入工程（依赖本地jar包，有些麻烦，有时候到服务器有找不到jar包的情况)按照文档操作，在Spark中分词，默认找的是本地目录，所以如果是在driver中分词是没有问题的。
-
发表了文章 2019-05-06
java中利用hanlp比较两个文本相似度的步骤
使用 HanLP - 汉语言处理包 来处理，他能处理很多事情，如分词、调用分词器、命名实体识别、人名识别、地名识别、词性识别、篇章理解、关键词提取、简繁拼音转换、拼音转换、根据输入智能推荐、自定义分词器 使用很简单，只要引入hanlp.
-
发表了文章 2019-04-29
如何在java中去除中文文本的停用词
1. 整体思路 第一步：先将中文文本进行分词，这里使用的HanLP-汉语言处理包进行中文文本分词。 第二步：使用停用词表，去除分好的词中的停用词。 2. 中文文本分词环境配置 使用的HanLP-汉语言处理包进行中文文本分词。
-
发表了文章 2019-04-26
hanlp 加载远程词库示例
说明 ·目前的实现方式是以远程词库的内容重新构建CustomDictionary.trie,demo主要是为了实现同步远程词库，对性能暂不作考虑,对性能要求要以CustomDictionary.dat为基础实现 按hanlp作者述 trie后期可能会取消 目前CustomDictionary使用DAT储存词典文件中的词语，用BinTrie储存动态加入的词语，前者性能高，后者性能低 之所以保留动态增删功能，一方面是历史遗留特性，另一方面是调试用；来可能会去掉动态增删特性。
-
发表了文章 2019-04-24
HanLP 自然语言处理 for nodejs
·支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析（MaxEnt依存句法分析、CRF依存句法分析）
-
发表了文章 2019-04-22
HanLP Analysis for Elasticsearch
基于 HanLP 的 Elasticsearch 中文分词插件，核心功能： 兼容 ES 5.x-7.x； 内置词典，无需额外配置即可使用； 支持用户自定义词典； 支持远程词典热更新（待开发）； 内置多种分词模式，适合不同场景； 拼音过滤器（待开发）； 简繁体转换过滤器（待开发）。
-
发表了文章 2019-04-19
HanLP vs LTP 分词功能测试
文章摘自github,本次测试选用 HanLP 1.6.0 , LTP 3.4.0 测试思路 使用同一份语料训练两个分词库，同一份测试数据测试两个分词库的性能。 语料库选取1998年01月的人民日报语料库。
-
发表了文章 2019-04-17
HanLP Android 示例
portable版 portable版零配置，仅提供中文分词、简繁拼音、同义词等功能。只需在build.gradle中加入依赖： dependencies { compile 'com.hankcs:hanlp:portable-1.6.8' } 自定义版 HanLP的全部功能（分词、简繁、拼音、文本分类、句法分析）都兼容安卓，具体配置方法如下： 1、下载hanlp.jar放入app/libs。
-
发表了文章 2019-04-15
HanLP中文分词Lucene插件
基于HanLP，支持包括Solr（7.x）在内的任何基于Lucene（7.x）的系统。
-
发表了文章 2019-04-10
Hanlp自然语言处理工具之词法分析器
本章是接前两篇《分词工具Hanlp基于感知机的中文分词框架》和《基于结构化感知机的词性标注与命名实体识别框架》的。本系统将同时进行中文分词、词性标注与命名实体识别3个任务的子系统称为“词法分析器”。
-
发表了文章 2019-04-08
基于结构化感知机的词性标注与命名实体识别框架
上周就关于《结构化感知机标注框架的内容》已经分享了一篇《分词工具Hanlp基于感知机的中文分词框架》，本篇接上一篇内容，继续分享词性标注与命名实体识别框架的内容。 词性标注 训练 词性标注是分词后紧接着的一个任务，训练语料同上，接口如下： 命令行 java -cp hanlp.
-
发表了文章 2019-04-03
分词工具Hanlp基于感知机的中文分词框架
结构化感知机标注框架是一套利用感知机做序列标注任务，并且应用到中文分词、词性标注与命名实体识别这三个问题的完整在线学习框架，该框架利用
-
发表了文章 2019-04-01
Android环境下hanlp汉字转拼音功能的使用介绍
由于项目需要在Android手机设备上实现汉字转拼音功能（支持多音字），于是首先想到了Pinyin4j+多音字映射对照表的实现方案，并在项目中试用了一段时间，发现数据量大时，其耗时非常严重。后来寻找其他方案，在github上找到了HanLP开源库，其多音字转换速度非常快，但是没有针对Android平台进行适配，于是对代码进行了一些修改，终于可以在Android手机上运行。
-
发表了文章 2019-03-29
汉语言处理工具pyhanlp的拼音转换与字符正则化
汉字转拼音 HanLP中的汉字转拼音功能也十分的强大。 说明： l HanLP不仅支持基础的汉字转拼音，还支持声母、韵母、音调、音标和输入法首字母首声母功能。 l HanLP能够识别多音字，也能给繁体中文注拼音。
-
发表了文章 2019-03-29
汉语言处理工具pyhanlp的简繁转换
HanLP几乎实现了所有我们需要的繁简转换方式，并且已经封装到了HanLP中，使得我们可以轻松的使用，而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。
-
发表了文章 2019-03-25
Hanlp中N最短路径分词详细介绍
N-最短路径 是中科院分词工具NLPIR进行分词用到的一个重要算法，张华平、刘群老师在论文《基于N-最短路径方法的中文词语粗分模型》中做了比较详细的介绍。该算法算法基本思想很简单，就是给定一待处理字串，根据词典，找出词典中所有可能的词，构造出字串的一个有向无环图，算出从开始到结束所有路径中最短的前N条路径。
-
发表了文章 2019-03-22
Hanlp1.7版本的新增功能一览
Hanlp1.7版本在去年下半年的时候就随大快的DKH1.6版本同时发布了，截至目前1.7大版本也更新到了1.7.1了。本篇分别就1.7.0和1.7.1中新增的功能做一个简单的汇总介绍。
-
发表了文章 2019-03-20
Hanlp汉字转拼音使用python调用详解
1、hanlp简介 HanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。
-
发表了文章 2019-03-18
如何在hanlp词典中手动添加未登录词
我们在使用hanlp词典进行分词的时候，难免会出现分词不准确的情况，原因是由于内置词典中并没有收录当前的这个词，也就是我们所说的未登录词，只要把这个词加入到内置词典中就可以解决类似问题，如何操作，下面我们就看一下具体的步骤
-
发表了文章 2019-03-15
Hanlp自然语言处理中的词典格式说明
使用过hanlp的都知道hanlp中有许多词典，它们的格式都是非常相似的，形式都是文本文档，随时可以修改。本篇文章详细介绍了hanlp中的词典格式，以满足用户自定义的需要。
-
发表了文章 2019-03-13
中文分词算法工具hanlp源码解析
词图指的是句子中所有词可能构成的图。如果一个词A的下一个词可能是B的话，那么A和B之间具有一条路径E(A,B)。一个词可能有多个后续，同时也可能有多个前驱，它们构成的图我称作词图。
-
发表了文章 2019-03-11
Hanlp分词1.7版本在Spark中分布式使用记录
新发布1.7.0版本的hanlp自然语言处理工具包差不多已经有半年时间了，最近也是一直在整理这个新版本hanlp分词工具的相关内容。不过按照当前的整理进度，还需要一段时间再给大家详细分享整理的内容。昨天正好看到的这篇关于关于1.
-
发表了文章 2019-03-08
Window离线环境下如何安装pyhanlp
Hanlp在离线环境下的安装我是没有尝试过的，分享SunJW_2017的这篇文章就是关于如何在离线环境下安装hanlp的。我们可以一起来学习一下！
-
发表了文章 2019-03-06
如何编译运行HanLP自然语言处理包
master分支 对于master分支，编译方法如下: git clone https://github.com/hankcs/HanLP.git mvn install -DskipTests ·由于目前一些test不够规范，使用了硬编码路径下的资源，所以暂时跳过单元测试。
-
发表了文章 2019-03-04
如何在linux服务器上使用hanlp
关于如何在linux服务器上使用hanlp也有分享过一篇，但分享的内容与湘笑的这篇还是不同的。此处分享一下湘笑的这篇hanlp在linux服务器上使用的文章，供新手朋友学习之用。
-
发表了文章 2019-03-01
hanlp提取文本关键词的使用方法记录
如何在一段文本之中提取出相应的关键词呢？ 之前有想过用机器学习的方法来进行词法分析，但是在项目中测试时正确率不够。于是这时候便有了 HanLP-汉语言处理包 来进行提取关键词的想法。
-
发表了文章 2019-02-27
开源自然语言处理工具包hanlp中CRF分词实现详解
CRF简介 CRF是序列标注场景中常用的模型，比HMM能利用更多的特征，比MEMM更能抵抗标记偏置的问题。 [gerative-discriminative.png] CRF训练 这类耗时的任务，还是交给了用C++实现的CRF++。
-
发表了文章 2019-02-26
hanlp和jieba等六大中文分工具的测试对比
本篇文章测试的哈工大LTP、中科院计算所NLPIR、清华大学THULAC和jieba、FoolNLTK、HanLP这六大中文分词工具是由 水...琥珀 完成的。相关测试的文章之前也看到过一些，但本篇阐述的可以说是比较详细的了。这里就分享一下给各位朋友！
暂无更多信息
-
发表了文章
2019-08-09
HanLP封装为web services服务的过程介绍
-
发表了文章
2019-08-07
大快搜索黑科技亮相2019（第四届）大数据产业生态大会
-
发表了文章
2019-08-07
hanlp分词工具应用案例：商品图自动推荐功能的应用
-
发表了文章
2019-08-05
HanLP分词工具中的ViterbiSegment分词流程
-
发表了文章
2019-07-29
Hanlp-地名识别调试方法详解
-
发表了文章
2019-07-26
自然语言处理工具HanLP-基于层叠HMM地名识别
-
发表了文章
2019-07-24
HanLP-基于HMM-Viterbi的人名识别原理介绍
-
发表了文章
2019-07-22
HanLP-朴素贝叶斯分类预测缺陷
-
发表了文章
2019-07-19
HanLP-地名识别调试方法
-
发表了文章
2019-07-17
自然语言处理工具python调用hanlp的方法步骤
-
发表了文章
2019-07-12
hanlp添加自定义字典的步骤介绍
-
发表了文章
2019-07-10
Spring MVCD框架中调用HanLP分词的方法
-
发表了文章
2019-07-01
基于hanlp的es分词插件
-
发表了文章
2019-06-21
Ansj与hanlp分词工具对比
-
发表了文章
2019-06-14
HanLP-分类模块的分词器介绍
-
发表了文章
2019-06-05
HanLP-最短路径分词
-
发表了文章
2019-05-31
NLP自然语言处理中英文分词工具集锦与基本使用介绍
-
发表了文章
2019-05-29
部分常用分词工具使用整理
-
发表了文章
2019-05-27
HanLP-实词分词器详解
-
发表了文章
2019-05-24
Eclipse myeclipse下配置HanLP的教程
滑动查看更多
暂无更多信息
暂无更多信息