朴素贝叶斯文本分类代码(详解)

简介:    1 from numpy import zeros,array 2 from math import log 3 4 def loadDataSet(): 5 #词条切分后的文档集合,列表每一行代表一个email 6 postingList=[['yo...
 

  

  1 from numpy import zeros,array
  2 from math import log
  3 
  4 def loadDataSet():
  5 #词条切分后的文档集合,列表每一行代表一个email 
  6     postingList=[['your','mobile','number','is','award','bonus','prize'],
  7                  ['new','car','and','house','for','my','parents'],
  8                  ['my','dalmation','is','so','cute','I','love','him'],  
  9                  ['today','voda','number','prize', 'receive','award'],
 10                  ['get','new','job','in','company','how','to','get','that'],
 11                  ['free','prize','buy','winner','receive','cash']]
 12     #由人工标注的每篇文档的类标签
 13     classVec=[1,0,0,1,0,1] #1-spam, 0-ham
 14     return postingList,classVec
 15 postingList,classVec = loadDataSet()
 16 
 17 
 18 #统计所有文档中出现的词条列表    
 19 def createVocabList(dataSet): 
 20     vocabSet=set([])
 21     #遍历文档集合中的每一篇文档
 22     for document in dataSet: 
 23         vocabSet=vocabSet|set(document) 
 24     return list(vocabSet)
 25 vocabSet = createVocabList(postingList)
 26 
 27 
 28 #根据词条列表中的词条是否在文档中出现(出现1,未出现0),将文档转化为词条向量    
 29 def setOfWords2Vec(vocabSet,inputSet):
 30     #新建一个长度为vocabSet的列表,并且各维度元素初始化为0
 31     returnVec=[0]*len(vocabSet)
 32     #遍历文档中的每一个词条
 33     for word in inputSet:
 34         #如果词条在词条列表中出现
 35         if word in vocabSet:
 36             #通过列表获取当前word的索引(下标)
 37             #将词条向量中的对应下标的项由0改为1
 38             returnVec[vocabSet.index(word)]=1
 39         else: print('the word: %s is not in my vocabulary! '%'word')
 40     #返回inputet转化后的词条向量
 41     return returnVec
 42  
 43 trainMatrix = [setOfWords2Vec(vocabSet,inputSet) for inputSet in postingList] 
 44 
 45 
 46 #训练算法,从词向量计算概率p(w0|ci)...及p(ci)
 47 #@trainMatrix:由每篇文档的词条向量组成的文档矩阵
 48 #@trainCategory:每篇文档的类标签组成的向量
 49 def trainNB0(trainMatrix,trainCategory):
 50     #获取文档矩阵中文档的数目
 51     numTrainDocs=len(trainMatrix)
 52     #获取词条向量的长度
 53     numWords=len(trainMatrix[0])
 54     #所有文档中属于类1所占的比例p(c=1)
 55     pAbusive=sum(trainCategory)/float(numTrainDocs)
 56     #创建一个长度为词条向量等长的列表
 57     p0Num=zeros(numWords) #ham
 58     p1Num=zeros(numWords) #spam
 59     p0Denom=0.0
 60     p1Denom=0.0
 61     #遍历每一篇文档的词条向量
 62     for i in range(numTrainDocs):
 63         #如果该词条向量对应的标签为1
 64         if trainCategory[i]==1:
 65             #统计所有类别为1的词条向量中各个词条出现的次数
 66             p1Num+=trainMatrix[i]
 67             #统计类别为1的词条向量中出现的所有词条的总数
 68             #即统计类1所有文档中出现单词的数目
 69             p1Denom+=sum(trainMatrix[i])
 70         else:
 71             #统计所有类别为0的词条向量中各个词条出现的次数
 72             p0Num+=trainMatrix[i]
 73             #统计类别为0的词条向量中出现的所有词条的总数
 74             #即统计类0所有文档中出现单词的数目
 75             p0Denom+=sum(trainMatrix[i])
 76     print(p1Num, p1Denom, p0Num,p0Denom )
 77     #利用NumPy数组计算p(wi|c1)
 78     p1Vect=p1Num/p1Denom  #为避免下溢出问题,需要改为log()
 79     #利用NumPy数组计算p(wi|c0)
 80     p0Vect=p0Num/p0Denom  #为避免下溢出问题,需要改为log()
 81     return p0Vect,p1Vect,pAbusive
 82  
 83 p0Vect,p1Vect,pAbusive=  trainNB0(trainMatrix,classVec)
 84 
 85 
 86 #朴素贝叶斯分类函数
 87 #@vec2Classify:待测试分类的词条向量
 88 #@p0Vec:类别0所有文档中各个词条出现的频数p(wi|c0)
 89 #@p0Vec:类别1所有文档中各个词条出现的频数p(wi|c1)
 90 #@pClass1:类别为1的文档占文档总数比例
 91 def classifyNB(vec2Classify,p0Vec,p1Vec,pClass1):
 92     #根据朴素贝叶斯分类函数分别计算待分类文档属于类1和类0的概率
 93     p1=sum(vec2Classify*p1Vec)+log(pClass1)
 94     p0=sum(vec2Classify*p0Vec)+log(1.0-pClass1)
 95     if p1>p0:
 96         return 'spam'
 97     else:
 98         return 'not spam'
 99 
100 
101 
102 testEntry=['love','my','job']
103 thisDoc=array(setOfWords2Vec(vocabSet,testEntry))
104 print(testEntry,'classified as:',classifyNB(thisDoc,p0Vect,p1Vect,pAbusive))

 

目录
相关文章
|
机器学习/深度学习
R语言实现逻辑回归模型
首先,本章节使用到的数据集是ISLR包中的Default数据集,数据包含客户信息的模拟数据集。这里的目的是预测哪些客户将拖欠他们的信用卡债务,这个数据集有1w条数据,3个特征
570 0
R语言实现逻辑回归模型
|
5月前
|
机器学习/深度学习 算法 数据处理
【阿旭机器学习实战】【33】中文文本分类之情感分析--朴素贝叶斯、KNN、逻辑回归
【阿旭机器学习实战】【33】中文文本分类之情感分析--朴素贝叶斯、KNN、逻辑回归
|
6月前
|
自然语言处理 Python
使用Python实现文本分类与情感分析模型
使用Python实现文本分类与情感分析模型
100 1
|
6月前
|
机器学习/深度学习 Python
使用Python实现逻辑回归模型
使用Python实现逻辑回归模型
77 9
|
机器学习/深度学习 自然语言处理
【文本分类】《基于提示学习的小样本文本分类方法》
使用P-turning提示学习,进行小样本文本分类。本文值得学习。
196 0
|
机器学习/深度学习 自然语言处理 算法
文本分类算法TextCNN
文本分类算法TextCNN
|
机器学习/深度学习 算法 Python
决策树和机器学习算法的贝叶斯解释
决策树和机器学习算法的贝叶斯解释
172 0
决策树和机器学习算法的贝叶斯解释
|
机器学习/深度学习 算法
一文读懂朴素贝叶斯分类算法
一文读懂朴素贝叶斯分类算法
一文读懂朴素贝叶斯分类算法
卡方检验用于文本分类中的特征提取
卡方检验(Chi-square Test) 卡方检验最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否。具体做的时候常常先假设两个变量确实是独立的(“原假设”),然后观察实际值(观察值)与理论值(这个理论值是指“如果两者确实独立”的情况下应该有的值)的偏差程度,如果偏差足够小,我们就认为误差是很自然的样本误差,是测量手段不够精确导致或者偶然发生的,两者确确实实是独立的,此时
2223 0
|
机器学习/深度学习 算法 计算机视觉
机器学习(七)分类模型(KNN&决策树&朴素贝叶斯)
通过计算待分类数据点,与已有数据集中的所有数据点的距离。取距离最小的前K个点,根据“少数服从多数“的原则,将这个数据点划分为出现次数最多的那个类别。 左图这个的Xu样本点
424 0
机器学习(七)分类模型(KNN&决策树&朴素贝叶斯)