【自然语言处理】TF-IDF算法在人工智能方面的应用，附带代码

pip install scikit-learn

from sklearn.feature_extraction.text import TfidfVectorizer  
from sklearn.datasets import fetch_20newsgroups  
  
# 加载数据集（这里使用scikit-learn提供的20 Newsgroups数据集作为示例）  
categories = ['alt.atheism', 'talk.religion.misc', 'comp.graphics', 'sci.space']  
newsgroups_train = fetch_20newsgroups(subset='train', categories=categories, shuffle=True, random_state=42)  
  
# 提取文本数据  
documents = newsgroups_train.data  
  
# 初始化TF-IDF Vectorizer  
vectorizer = TfidfVectorizer(stop_words='english')  
  
# 使用TF-IDF Vectorizer将文本数据转换为TF-IDF特征矩阵  
X = vectorizer.fit_transform(documents)  
  
# 打印特征名称（即文本中的词汇）  
print(vectorizer.get_feature_names_out())  
  
# 打印TF-IDF特征矩阵的形状（文档数 x 特征数）  
print(X.shape)  
  
# 如果你想要查看某个文档的TF-IDF向量，可以这样做：  
# 注意：索引是从0开始的，所以这里选择第一个文档作为示例  
document_vector = X[0].toarray()  
print(f"TF-IDF Vector for the first document:\n{document_vector}")  
  
# 如果你想要查看某个词在所有文档中的TF-IDF值，你可以这样做：  
# 假设我们要查找词 "god" 的TF-IDF值  
tfidf_values = X[:, vectorizer.vocabulary_.get('god', None)]  
print(f"TF-IDF values for the term 'god' in all documents:\n{tfidf_values}")

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import make_pipeline
# 训练数据
train_data = ['垃圾邮件内容1', '垃圾邮件内容2', '正常邮件内容1', '正常邮件内容2']
train_labels = [1, 1, 0, 0]  # 1表示垃圾邮件，0表示正常邮件
# 创建TF-IDF向量化器
vectorizer = TfidfVectorizer()
# 创建朴素贝叶斯分类器
classifier = MultinomialNB()
# 构建管道
model = make_pipeline(vectorizer, classifier)
# 训练模型
model.fit(train_data, train_labels)
# 预测新邮件是否为垃圾邮件
new_email = '这是一封新的邮件内容'
prediction = model.predict([new_email])
print('预测结果：', prediction)

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
# 训练数据
train_data = ['这是一个很好的产品', '我对这个产品很失望', '这个产品一般般', '我很喜欢这个产品']
train_labels = [1, 0, 0, 1]  # 1表示正面情感，0表示负面情感
# 创建TF-IDF向量化器
vectorizer = TfidfVectorizer()
# 创建逻辑回归分类器
classifier = LogisticRegression()
# 构建管道
model = make_pipeline(vectorizer, classifier)
# 训练模型
model.fit(train_data, train_labels)
# 预测新文本的情感倾向
new_text = '这个产品真的很糟糕'
prediction = model.predict([new_text])
print('预测结果：', prediction)

from sklearn.feature_extraction.text import TfidfVectorizer
# 训练数据
train_data = ['这是一个关于计算机的文章', '这篇文章讲述了人工智能的发展', '机器学习是人工智能的一个重要分支']
# 创建TF-IDF向量化器
vectorizer = TfidfVectorizer()
# 计算TF-IDF特征向量
tfidf_matrix = vectorizer.fit_transform(train_data)
# 获取词汇表
feature_names = vectorizer.get_feature_names()
# 提取关键词
keywords = []
for doc in range(len(train_data)):
    feature_index = tfidf_matrix[doc,:].nonzero()[1]
    tfidf_scores = zip(feature_index, [tfidf_matrix[doc, x] for x in feature_index])
    sorted_scores = sorted(tfidf_scores, key=lambda x: x[1], reverse=True)
    keywords.append([feature_names[i] for i, score in sorted_scores[:5]])
print('关键词：', keywords)