TfidfVectorizer的单词频率
我正在尝试使用TF-IDF计算消息传递数据帧的词频。到目前为止，我有这个
import nltk
from sklearn.feature_extraction.text import TfidfVectorizer
new_group['tokenized_sents'] = new_group.apply(lambda row: nltk.word_tokenize(row['message']),axis=1).astype(str).lower()
vectoriser=TfidfVectorizer()
new_group['tokenized_vector'] = list(vectoriser.fit_transform(new_group['tokenized_sents']).toarray())
但是，使用上面的代码，我得到了一堆零而不是单词frequency。如何解决此问题以获得正确的消息频率。这是我的数据框
user_id date message tokenized_sents tokenized_vector
X35WQ0U8S 2019-02-17 Need help ['need','help'] [0.0,0.0]
X36WDMT2J 2019-03-22 Thank you! ['thank','you','!'] [0.0,0.0,0.0]
问题来源：stackoverflow
展开
收起
1
条回答
写回答
写回答
-
首先，为了计数，您不希望使用TfidfVectorizer，因为它已标准化。您要使用CountVectorizer。其次，您不需要标记单词，因为sklearn具有使用TfidfVectorizer和CountVectorizer的标记生成器。
#add whatever settings you want countVec =CountVectorizer() #fit transform cv = countVec.fit_transform(df['message'].str.lower()) #feature names cv_feature_names = countVec.get_feature_names() #feature counts feature_count = cv.toarray().sum(axis = 0) #feature name to count dict(zip(cv_feature_names, feature_count))回答来源：stackoverflow
2020-03-24 20:28:36赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
