2021-4月Python 机器学习——中文新闻文本标题分类(简单容易版)

from sklearn.feature_extraction.text import TfidfVectorizer #在文本分类之中，首先分词，然后将分词之后的文本进行tfidf计算，并向量化（这一部分是核心），最后利用传统机器学习算法进行分类就可以了。
from sklearn.naive_bayes import  MultinomialNB#引入朴素贝叶斯
import jieba#jieba库是一款优秀的 Python 第三方中文分词库
import os
import pandas as pd
"""
jieba 支持三种分词模式：精确模式、全模式和搜索引擎模式，下面是三种模式的特点。
精确模式：试图将语句最精确的切分，不存在冗余数据，适合做文本分析
全模式：将语句中所有可能是词的词语都切分出来，速度很快，但是存在冗余数据
搜索引擎模式：在精确模式的基础上，对长词再次进行切分
"""
dictt=pd.read_table('data/data12701/dict.txt')
Test=pd.read_table('data/data12701/Test.txt')
Test_IDs=pd.read_table('data/data12701/Test_IDs.txt')
Val_IDs=pd.read_table('data/data12701/Val_IDs.txt')
Train=pd.read_table('data/data12701/Train.txt')
Train_IDs=pd.read_table('data/data12701/Train_IDs.txt')
def fenlei():
    # 获取新闻标题数据训练集
    news = pd.read_table('data/data12701/Train.txt',header=None)#默认会自动推断数据文件头,如果设置为None则无文件头,为1则第一行是文件头
    news = news.drop(1,axis=1) # 去掉中文类别 axis=1指按列
    #print(news)
    text = news[2].tolist()#将数组或者矩阵转换成列表
    # 对新闻标题列表里面的标题进行分词
    t = []
    for i in text:#注意python的for循环用法
        n= jieba.lcut(str(i)) #精确模式分词，适合做文本分析，装换成string形式
        t.append(' '.join(n)) # 将每个标题的分词结果用空格连接起来
    news[2] = t
    #获取测试集
    test = pd.read_table("data/data12701/Test.txt",header=None)
    text = test[0].tolist()
    t1 = []
    for i in text:
        n = jieba.lcut(str(i))
        t1.append(' '.join(n))  # 将每个标题的分词结果用空格连接起来
    x_test = t1
    label = ["财经","彩票","房产","股票","家具","教育","科技","社会","时尚","时政","体育","星座","游戏","娱乐"]
    # 进行数据分割
    # x_train,x_test,y_train,y_test = train_test_split(news[2], news[0], test_size=0.2)
    x_train = news[2]
    y_train = news[0]
    # 对数据集进行特征抽取
    tf = TfidfVectorizer()#TfidfVectorizer可以把原始文本转化为tf-idf的特征矩阵，从而为后续的文本相似度计算，主题模型(如LSI)，文本搜索排序等一系列应用奠定基础。
    # 以训练集当中的词的列表进行每篇文章重要性统计['a','b','c','d',]
    x_train = tf.fit_transform(x_train)
    """
  sklearn里的封装好的各种算法使用前都要fit，fit相对于整个代码而言，为后续API服务。fit之后，然后调用            各种API方法，transform只是其中一个API方法，所以当你调用transform之外的方法，也必须要先fit。
  fit_transform(): joins the fit() and transform() method for transformation of dataset.
  解释：fit_transform是fit和transform的组合，既包括了训练又包含了转换。
  transform()和fit_transform()二者的功能都是对数据进行某种统一处理（比如标准化~N(0,1)，将数据缩放    (映射)到某个固定区间，归一化，正则化等）
  fit_transform(trainData)对部分数据先拟合fit，找到该part的整体指标，如均值、方差、最大值最小值等等  （根据具体转换的目的），然后对该trainData进行转换transform，从而实现数据的标准化、归一化等等。
  """
    # print(tf.get_feature_names())
    x_test = tf.transform(x_test)
    # 进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=0.02)
    # print(x_train)
'''class sklearn.naive_bayes.MultinomialNB (alpha=1.0,fit_prior=True, class_prior=None)
其中：
alpha : 浮点数, 可不填 (默认为1.0)
拉普拉斯或利德斯通平滑的参数λ \lambdaλ，如果设置为0则表示完全没有平滑选项。但是需要注意的是，平滑相当于人为给概率加上一些噪音，因此λ \lambdaλ设置得越大，多项式朴素贝叶斯的精确性会越低（虽然影响不是非常大）。
fit_prior : 布尔值, 可不填 (默认为True)
是否学习先验概率P(Y=c)。如果设置为false，则所有的样本类别输出都有相同的类别先验概率。即认为每个标签类出现的概率是1 n _ c l a s s e s \frac1{n\_classes} 
n_classes
1
 。
class_prior：形似数组的结构，结构为(n_classes, )，可不填（默认为None）
类的先验概率P(Y=c)。如果没有给出具体的先验概率则自动根据数据来进行计算。
布尔参数fit_prior表示是否要考虑先验概率，如果是False，则所有的样本类别输出都有相同的类别先验概率。否则，可以用第三个参数class_prior输入先验概率，或者不输入第三个参数class_prior让
MultinomialNB自己从训练集样本来计算先验概率，此时的先验概率为P(Y=Ck)=mk/m。其中m为训练集样本总数量，mk为输出为第k个类别的训练集样本数。
 '''  #设置训练集
    mlt.fit(x_train, y_train)
    y_predict = mlt.predict(x_test)
    with open(os.path.join('result.txt'), 'w', encoding='utf-8') as f_train:
        f_train.seek(0)
        f_train.truncate()
    result=open('result.txt',mode='w')
    for i in y_predict:
        result.write(label[i]+"\n")
    result.close()
    return None
if __name__ =="__main__":
    fenlei()