在自然语言处理（NLP）领域，文本分类是一个常见的任务，用于将文本分配到预定义的类别中。本文将介绍如何使用Python和一个简单的机器学习算法来实现一个基本的文本分类器，该分类器可以将电影评论分为“正面”和“负面”两类。
1. 数据收集
首先，我们需要一个带有标签的数据集，以训练我们的分类器。我们将使用NLTK库中的电影评论数据集。
import nltk from nltk.corpus import movie_reviews nltk.download('movie_reviews') documents = [(list(movie_reviews.words(fileid)), category) for category in movie_reviews.categories() for fileid in movie_reviews.fileids(category)] # 打乱数据 import random random.shuffle(documents)
2. 特征提取
接下来，我们将从文本中提取特征。在这个例子中，我们将使用最简单的特征提取方法，即词袋模型。
all_words = nltk.FreqDist(w.lower() for w in movie_reviews.words()) word_features = list(all_words)[:2000] def document_features(document): document_words = set(document) features = {} for word in word_features: features['contains({})'.format(word)] = (word in document_words) return features featuresets = [(document_features(d), c) for (d,c) in documents]
3. 训练分类器
现在，我们有了特征集，我们可以将其分成训练集和测试集，并使用它们来训练我们的分类器。
train_set, test_set = featuresets[:1500], featuresets[1500:] classifier = nltk.NaiveBayesClassifier.train(train_set)
4. 评估分类器
最后，我们可以评估我们的分类器的性能。
print(nltk.classify.accuracy(classifier, test_set))
完整代码
import nltk from nltk.corpus import movie_reviews import random nltk.download('movie_reviews') documents = [(list(movie_reviews.words(fileid)), category) for category in movie_reviews.categories() for fileid in movie_reviews.fileids(category)] random.shuffle(documents) all_words = nltk.FreqDist(w.lower() for w in movie_reviews.words()) word_features = list(all_words)[:2000] def document_features(document): document_words = set(document) features = {} for word in word_features: features['contains({})'.format(word)] = (word in document_words) return features featuresets = [(document_features(d), c) for (d,c) in documents] train_set, test_set = featuresets[:1500], featuresets[1500:] classifier = nltk.NaiveBayesClassifier.train(train_set) print(nltk.classify.accuracy(classifier, test_set))
结论
在本文中，我们使用了NLTK库和Python实现了一个简单的文本分类器。虽然这个示例是基于词袋模型和朴素贝叶斯分类器的，但它提供了一个良好的起点，可以进一步扩展和改进，以适应更复杂的文本分类任务。
