开发者社区> 问答> 正文

文本向量化工具有什么功能呢?

已解决

文本向量化工具有什么功能呢?

展开
收起
出笼的鸟 2022-07-27 08:14:27 622 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    文本向量表示

    ·字词粒度,通过腾讯AlLab开源的大规模高质量中文词向量数据(800万中文词),获取字词的word2vec向量表示。

    ·句子粒度,通过求句子中所有单词词嵌入的平均值计算得到。

    ·篇章粒度,可以通过gensim库的doc2vec得到,应用较少,有兴趣同学 可以自己去实现。

    文本相似度计算

    ·基准方法,估计两句子间语义相似度最简单的方法就是求句子中所有单词词嵌入的平均值,然后计算两句子词嵌入之间的余 弦相似性。

    ·词移距离(Word Mover's Dislance)),词移距离使用两文本间的词嵌入.测量其中一文本中的单词在语义空间中移动到另一 文本单词所需要的最短距离。

    2022-07-27 08:33:12
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
《Proxima:多模态向量检索引擎》 立即下载
高维向量检索技术在PG中的设计与实践 立即下载
《开放搜索统一召回引擎实践》 立即下载