文本特征抽取TfidVectorizer
前几种方法的缺点：有很多词虽然没意义，但是出现次数很多，会影响结果，有失偏颇------------关键词
TfidVecorizer--------Tf-IDF
思想：一个词在一篇文章中出现概率高，但是在其他文章很少出现------------认为这个很适合来分类
TF-IDF------重要程度
TF------------term frequency---------------------词频
IDF------------inverse document frequency----------逆向文档频率
from sklearn.feature_extraction.text import TfidfVectorizer tfidf_vec = TfidfVectorizer() # stop words自定义停用词表，为列表List类型 # token_pattern过滤规则，正则表达式，如r"(?u)bw+b # max_df=0.5，代表一个单词在 50% 的文档中都出现过了，那么它只携带了非常少的信息，因此就不作为分词统计 documents = [ 'this is the bayes document', 'this is the second second document', 'and the third one', 'is this the document' ] tfidf_matrix = tfidf_vec.fit_transform(documents) # 拟合模型，并返回文本矩阵 表示了每个单词在每个文档中的 TF-IDF 值 print('输出每个单词在每个文档中的 TF-IDF 值，向量里的顺序是按照词语的 id 顺序来的:', '\n', tfidf_matrix.toarray()) print('不重复的词:', tfidf_vec.get_feature_names()) print('输出每个单词对应的 id 值:', tfidf_vec.vocabulary_) print('返回idf值:', tfidf_vec.idf_) print('返回停用词表:', tfidf_vec.stop_words_)
🌸I could be bounded in a nutshell and count myself a king of infinite space.
特别鸣谢：木芯工作室 、Ivan from Russia
