Word2Vec命令的功能

简介:       下载make好word2vec后,生成以下5个命令:      compute-accuracy:      distance:      word2phrase:就是将词语拼成短语。
      下载make好word2vec后,生成以下5个命令:
     compute-accuracy:
     distance:
      word2phrase:就是将词语拼成短语。
      word2vec:丫应该是make后第一个执行的命令了,因为需要使用该命令训练语料库。我们首先需要准备好txt文本文件,里面全是用空格或Tab空开的词。然后通过以下代码生成*.bin文件,bin里面保存的值就是文档中词语和其对应的向量。千万不要以为,得到的bin文件就一定比input.txt小,超过100M的txt是这样,而且越大越是,但是对于20~50M的语料库而言就不一定了,起码我训练的时候是这样。
  1. ./word2vec -train input.txt -output vectors.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 12 -binary 1
     word-analogy:

     在Ubuntu15.04下安装Gensim:
     sudo apt-get install python-numpy python-scipy
      pip install gensim
相关文章
|
26天前
|
机器学习/深度学习 自然语言处理 Python
Word2Vec
Word2Vec是由Google在2013年提出的词嵌入模型,能将词语转化为捕捉语义和句法关系的向量。它包含CBOW和Skip-Gram两种模型,分别通过上下文预测目标词或反之。Word2Vec在文本分类、情感分析等领域广泛应用,并可通过gensim等工具轻松实现。
|
3月前
|
机器学习/深度学习 自然语言处理 Python
|
机器学习/深度学习 自然语言处理 运维
Word2Vec:一种基于预测的方法
Word2Vec:一种基于预测的方法
301 0
|
存储 XML 自然语言处理
Word操作与应用
Word操作与应用
170 0
|
Windows
如何将 Tex 转化为 Word 文件
如何将 Tex 转化为 Word 文件
654 0
|
机器学习/深度学习 自然语言处理 算法
Word2Vec原理以及实战详解
Word2Vec原理以及实战详解
|
机器学习/深度学习 自然语言处理 算法
CS224n 笔记2-词向量表示:Word2vec(一)
CS224n 笔记2-词向量表示:Word2vec(一)
171 0
CS224n 笔记2-词向量表示:Word2vec(一)
|
机器学习/深度学习 自然语言处理
CS224n 笔记2-词向量表示:Word2vec(二)
CS224n 笔记2-词向量表示:Word2vec(二)
125 0
CS224n 笔记2-词向量表示:Word2vec(二)
|
算法 Python 自然语言处理