任务五：使用TFIDF特征和XGBoost完成训练和预测
- 说明：在这个任务中，你需要使用TFIDF特征和XGBoost算法完成训练和预测，进一步提升文本分类的性能。
- 实践步骤：
- 准备TFIDF特征矩阵和相应的标签。
- 划分训练集和测试集。
- 使用Sklearn中的XGBoost算法进行训练，并使用训练好的模型对测试集进行预测。
- 评估模型的性能，如准确率、精确率、召回率等指标。
对于这一部分来说，我们只需要换一下模型即可，从线性模型换成一个比较强大的XGBoost模型即可完成，所以主要在评估结果中
TFIDF提取特征
首先使用任务三中的方法先提取特征
tfidf = TfidfVectorizer(token_pattern=r'(?u)\b\w\w+\b', max_features=4000, ngram_range=(1, 2)) train_tfidf = tfidf.fit_transform(train_data['content']) test_tfidf = tfidf.fit_transform(test_data['content'])
这样我们就一句得到了TFIDF的特征矩阵，接下来我们就可以进行下一步的训练和测试了
训练XGBoost
这里修改为训练XGBoost模型
model = xgb.XGBClassifier() model.fit(train_tfidf, train_data['label'])
训练完以后，我们就得到了一个不错的XGB模型，接下来我们可以进行评估模型的性能
评估模型
首先我们可以计算一下准确率，从结果上来看，准确率很圆满为100%
predictions = model.predict(train_tfidf) accuracy = accuracy_score(train_data['label'], predictions) print("Accuracy:", accuracy)
Accuracy: 1.0
我们还计算了精确率和召回率的指标，均为100%
from sklearn.metrics import precision_score, recall_score precision = precision_score(train_data['label'], predictions) recall = recall_score(train_data['label'], predictions) print("Precision:", precision) print("Recall:", recall)
Precision: 1.0 Recall: 1.0
模型预测及提交
最后利用模型对测试集进行预测，得到结果文件
submit = pd.read_csv('ChatGPT/sample_submit.csv') submit = submit.sort_values(by='name') submit['label'] = model.predict(test_tfidf).astype(int) submit.to_csv('ChatGPT/xgb.csv', index=None)
经过提交以后，最后的分数为0.8848，从结果上来看，还是存在一些过拟合的，还是需要对其进行一些调参以得到更好的结果，并且可能还是需要一个验证集来检测结果是否过拟合，减小过拟合应该可以得到不错的分数
改进与提高
后续我进行学习的时候，再进行了改进，得到了更好的结果，我加入了cross_val_predict()函数进行交叉验证，使用交叉验证的目的是为了更准确地评估模型的性能和泛化能力。交叉验证是一种评估机器学习模型的统计方法，通过将数据集划分为多个子集，在不同的训练和验证集上多次训练和评估模型，以得到更可靠的性能指标。
import glob import numpy as np import pandas as pd import xgboost as xgb from xgboost import XGBClassifier from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.model_selection import cross_val_predict from sklearn.metrics import classification_report train_data = pd.read_csv('ChatGPT/train.csv') test_data = pd.read_csv('ChatGPT/test.csv') # train_data['content'] = train_data['content'].apply(get_num) # test_data['content'] = test_data['content'].apply(get_num) train_data['content'] = train_data['content'].apply(lambda x: x[1:-1]) test_data['content'] = test_data['content'].apply(lambda x: x[1:-1]) tfidf = TfidfVectorizer(token_pattern=r'\w{1}',ngram_range=(1,3), max_features=10000) tfidf.fit(train_data['content'].apply(lambda x: ' '.join(x))) train_tfidf_feat = tfidf.transform(train_data['content'].apply(lambda x: ' '.join(x))) test_tfidf_feat = tfidf.transform(test_data['content'].apply(lambda x: ' '.join(x))) val_pred = cross_val_predict( XGBClassifier(n_estimators=50), train_tfidf_feat, train_data['label'] ) print(classification_report(train_data['label'], val_pred, digits=3)) m = XGBClassifier(n_estimators=50) m.fit(train_tfidf_feat, train_data['label']) test_pred = m.predict(test_tfidf_feat) test_data['label'] = test_pred test_data[['name', 'label']].to_csv('ChatGPT/xgb.csv', index=None)
precision recall f1-score support 0 0.974 0.995 0.984 11836 1 0.966 0.852 0.905 2164 accuracy 0.973 14000 macro avg 0.970 0.923 0.945 14000 weighted avg 0.972 0.973 0.972 14000
最后得到了更好的成绩，97.36，后续继续努力，冲上99+！！！
最后我有对模型进行调整，最后又有提升，还差一点点到99+了，继续努力，我觉得xgboost的潜力还是很大的，单单xgboost肯定就有99+的潜力，还可以继续冲一下
