文本向量表示
·字词粒度,通过腾讯AlLab开源的大规模高质量中文词向量数据(800万中文词),获取字词的word2vec向量表示。
·句子粒度,通过求句子中所有单词词嵌入的平均值计算得到。
·篇章粒度,可以通过gensim库的doc2vec得到,应用较少,有兴趣同学 可以自己去实现。
文本相似度计算
·基准方法,估计两句子间语义相似度最简单的方法就是求句子中所有单词词嵌入的平均值,然后计算两句子词嵌入之间的余 弦相似性。
·词移距离(Word Mover's Dislance)),词移距离使用两文本间的词嵌入.测量其中一文本中的单词在语义空间中移动到另一 文本单词所需要的最短距离。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。