以下举例训练小的语料库的方法,大的语料库,训练词向量操作流程不一样
参考https://radimrehurek.com/gensim_3.8.3/models/fasttext.html
from gensim.models import FastText
from gensim.test.utils import common_texts # 内置一些例子
print(common_texts[0])
# ['human', 'interface', 'computer']
# 训练词向量
model = FastText(vector_size=4, window=3, min_count=1) # instantiate
model.build_vocab(sentences=common_texts)
model.train(sentences=common_texts, total_examples=len(common_texts), epochs=10) # train
# 保存
fname = "fasttext.model"
model.save(fname)
# 加载
model = FastText.load(fname)