Java利用hanlp完成语句相似度分析的案例详解-阿里云开发者社区

开发者社区> 大数据资讯> 正文

Java利用hanlp完成语句相似度分析的案例详解

简介: 在做考试系统需求时,后台题库系统提供录入题目的功能。在录入题目的时候,由于题目来源广泛,且参与录入题目的人有多位,因此容易出现录入重复题目的情况。所以需要实现语句相似度分析功能,从而筛选出重复的题目并人工处理之。
+关注继续查看

 


 分享一篇hanlp分词工具使用的小案例,即利用hanlp分词工具分析两个中文语句的相似度的案例。供大家一起学习参考!

 

在做考试系统需求时,后台题库系统提供录入题目的功能。在录入题目的时候,由于题目来源广泛,且参与录入题目的人有多位,因此容易出现录入重复题目的情况。所以需要实现语句相似度分析功能,从而筛选出重复的题目并人工处理之。

下面介绍如何使用Java实现上述想法,完成语句相似度分析:

1、使用HanLP完成分词:

首先,添加HanLP的依赖:(jsoup是为了处理题干中的html标签,去除html标签得到纯文本的题干内容)

 

 

ab1521af9661c77aa217667cf22ceb5eb4fc6e27

分词代码如下,需要处理html标签和标点符号:

 

private static List<String> getSplitWords(String sentence) {

        // 去除掉html标签

        sentence = Jsoup.parse(sentence.replace(" ","")).body().text();

        // 标点符号会被单独分为一个Term,去除之

        return HanLP.segment(sentence).stream().map(a -> a.word).filter(s -> !"`~!@#$^&*()=|{}':;',\\[\\].<>/?~@#¥……&*()——|{}【】‘;:”“'。,、? ".contains(s)).collect(Collectors.toList());

    }

 

2、合并分词结果,列出所有的词:

 

f0b1a59b0e178b387a2844d8e53b580580cd6c63

3、统计词频,得到词频构成的向量:

代码如下,其中allWords是上一步中得到的所有的词,sentWords是第一步中对单个句子的分词结果:

 

 

df1bc1c9c1dc471696af7172e9c67ed7f6d2fcdc

4、计算相似度(两个向量的余弦值):

 

744ac166d300e4de880f3d417fdad029afcfda6b

 

以上所有方法的完整代码如下,使用SimilarityUtil.getSimilarity(String s1,String s2)即可得到s1s2的语句相似度:

 

package com.yuantu.dubbo.provider.questionRepo.utils;

 

import com.hankcs.hanlp.HanLP;

import com.hankcs.hanlp.dictionary.CustomDictionary;

import org.jsoup.Jsoup;

 

import java.util.ArrayList;

import java.util.Calendar;

import java.util.Collections;

import java.util.List;

import java.util.stream.Collectors;

 

public class SimilarityUtil {

    static {

        CustomDictionary.add("子类");

        CustomDictionary.add("父类");

    }

 

    private SimilarityUtil() {

    }

    

    /**

     * 获得两个句子的相似度

     *

     * @param sentence1

     * @param sentence2

     * @return

     */

    public static double getSimilarity(String sentence1, String sentence2) {

        List<String> sent1Words = getSplitWords(sentence1);

        System.out.println(sent1Words);

        List<String> sent2Words = getSplitWords(sentence2);

        System.out.println(sent2Words);

        List<String> allWords = mergeList(sent1Words, sent2Words);

 

        int[] statistic1 = statistic(allWords, sent1Words);

        int[] statistic2 = statistic(allWords, sent2Words);

 

        double dividend = 0;

        double divisor1 = 0;

        double divisor2 = 0;

        for (int i = 0; i < statistic1.length; i++) {

            dividend += statistic1[i] * statistic2[i];

            divisor1 += Math.pow(statistic1[i], 2);

            divisor2 += Math.pow(statistic2[i], 2);

        }

 

        return dividend / (Math.sqrt(divisor1) * Math.sqrt(divisor2));

    }

 

    private static int[] statistic(List<String> allWords, List<String> sentWords) {

        int[] result = new int[allWords.size()];

        for (int i = 0; i < allWords.size(); i++) {

            result[i] = Collections.frequency(sentWords, allWords.get(i));

        }

        return result;

    }

 

    private static List<String> mergeList(List<String> list1, List<String> list2) {

        List<String> result = new ArrayList<>();

        result.addAll(list1);

        result.addAll(list2);

        return result.stream().distinct().collect(Collectors.toList());

    }

 

    private static List<String> getSplitWords(String sentence) {

        // 去除掉html标签

        sentence = Jsoup.parse(sentence.replace(" ","")).body().text();

        // 标点符号会被单独分为一个Term,去除之

        return HanLP.segment(sentence).stream().map(a -> a.word).filter(s -> !"`~!@#$^&*()=|{}':;',\\[\\].<>/?~@#¥……&*()——|{}【】‘;:”“'。,、? ".contains(s)).collect(Collectors.toList());

    }

}

---------------------

 

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9951 0
HanLP 关键词提取算法分析详解
给定若干个句子,提取关键词。而TextRank算法是 graphbased ranking model,因此需要构造一个图,要想构造图,就需要确定图中的顶点如何构造,于是就把句子进行分词,将分得的每个词作为图中的顶点。
1202 0
pyhanlp 共性分析与短语提取内容详解
HanLP中的词语提取是基于互信息与信息熵。想要计算互信息与信息熵有限要做的是 文本分词进行共性分析。在作者的原文中,有几个问题,为了便于说明,这里首先给出短语提取的原理。在文末在给出pyhanlp的调用代码。
3189 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13699 0
案例篇-HBase 基本知识介绍及典型案例分析
吴阳平 阿里巴巴 HBase 业务架构师
20823 0
网站与APP抓包分析2 分析方法案例
简介:基于网络协议与相关工具对网站与APP应用数据交互流程进行分析。 关键词:网站、APP、数据交互、资源加载、流程分析
1090 0
+关注
大数据资讯
hadoop爱好者
149
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载