【机器学习】贝叶斯分类器代码实现(python+sklearn)

简介: 【机器学习】贝叶斯分类器代码实现(python+sklearn)

简 介:下面是我在学习时候的记录并加上自己的理解。本文意在记录自己近期学习过程中的所学所得,如有错误,欢迎大家指正。

 

关键词:Python、机器学习、贝叶斯分类器

一、贝叶斯分类器

sklearn-learn官方封装好的模块中,已经有了BernoulliNB(伯努利分类器)、GaussianNB(高斯分类器)、MultinomialNB(多项式分类器)、ComplementNB(互补贝叶斯分类器)、CategoricalNB。

这些分类器的大体原理是一样的,都是根据先验概率和条件概率去求后验概率,不同之处就是不同的分类器对我们数据的假设分布不一样,比如高斯分类器就是假设每个类别下的每一特征分量符合的是正态分布。

注意目前几个分类器只可以用于分类使用,不能够用于回归建模。

1.高斯分类器代码实现

from sklearn.naive_bayes import GaussianNB
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
# 1.加载数据
X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=2021)
# 2.定义分类器
clf = GaussianNB()
# 3.模型训练
clf.fit(X_train, y_train)
# print(clf.class_count_)
# print(clf.classes_)
# print(clf.sigma_) 返回每个类别下每个特征分量的均值
# print(clf.theta_) 返回每个类别下每个特征分量的方差
print(X.shape)
print(clf.theta_.shape)
# 4.模型结果
print("训练集分数:", clf.score(X_train, y_train))
print("测试集分数:", clf.score(X_test, y_test))
# 如果我们的数据集较为大时,一次性不能够全部读入内存,此时就可以用partial_fit方法进行分批进行训练
clf.partial_fit(X_train, y_train)
print("训练集分数:", clf.score(X_train, y_train))
print("测试集分数:", clf.score(X_test, y_test))

输出结果:

(1797, 64)
(10, 64)
训练集分数: 0.847255369928401
测试集分数: 0.8444444444444444
训练集分数: 0.847255369928401
测试集分数: 0.8444444444444444

高斯分类器非常简单,因为在构造模型时不需要任何的参数。

上面可能看到partial_fit这个方法,这个方法也是用于训练模型的,它的使用场景就是当我们的训练数据集特别大,cpu不能够一次性的容纳下,此时就需要使用该方法进行分块学习,其实它和深度学习中的批次差不多。

其中模型中有两个重要的参数分别为sigma_,theta_,他们两个分别代表的是每个类别下每个特征分量的均值和方差。

2.多项式分类器

from sklearn.naive_bayes import MultinomialNB
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
# 1.加载数据
X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=2021)
# 2.定义分类器
clf = MultinomialNB()
# 3.模型训练
clf.fit(X_train, y_train)
# 4.模型结果
print("训练集分数:", clf.score(X_train, y_train))
print("测试集分数:", clf.score(X_test, y_test))
# 如果我们的数据集较为大时,一次性不能够全部读入内存,此时就可以用partial_fit方法进行分批进行训练
clf.partial_fit(X_train, y_train)
print("训练集分数:", clf.score(X_train, y_train))
print("测试集分数:", clf.score(X_test, y_test))

输出结果:

训练集分数: 0.9085123309466985
测试集分数: 0.9092592592592592
训练集分数: 0.9085123309466985
测试集分数: 0.9092592592592592



目录
相关文章
|
22小时前
|
机器学习/深度学习
【机器学习】噪声数据对贝叶斯模型有什么样的影响?
【5月更文挑战第10天】【机器学习】噪声数据对贝叶斯模型有什么样的影响?
|
22小时前
|
机器学习/深度学习
【机器学习】朴素贝叶斯分类器的缺点是什么?
【5月更文挑战第10天】【机器学习】朴素贝叶斯分类器的缺点是什么?
|
22小时前
|
机器学习/深度学习 自然语言处理 算法
【机器学习】朴素贝叶斯分类器的优点是什么?
【5月更文挑战第10天】【机器学习】朴素贝叶斯分类器的优点是什么?
|
22小时前
|
机器学习/深度学习 数据采集 算法
【机器学习】朴素贝叶斯分类器的工作流程?
【5月更文挑战第10天】【机器学习】朴素贝叶斯分类器的工作流程?
|
22小时前
|
机器学习/深度学习 算法
【机器学习】如何使用朴素贝叶斯分类器来处理类别特征?
【5月更文挑战第10天】【机器学习】如何使用朴素贝叶斯分类器来处理类别特征?
|
22小时前
|
机器学习/深度学习
【机器学习】如何根据训练集大小选择分类器?
【5月更文挑战第10天】【机器学习】如何根据训练集大小选择分类器?
|
23小时前
|
机器学习/深度学习 算法
【机器学习】朴素贝叶斯分类器的假设?
【5月更文挑战第10天】【机器学习】朴素贝叶斯分类器的假设?
|
23小时前
|
机器学习/深度学习 数据采集 算法
【机器学习】什么是朴素贝叶斯分类器?
【5月更文挑战第10天】【机器学习】什么是朴素贝叶斯分类器?
【机器学习】什么是朴素贝叶斯分类器?
|
2天前
|
机器学习/深度学习 数据采集 人工智能
机器学习之sklearn基础教程
【5月更文挑战第9天】Sklearn是Python热门机器学习库,提供丰富算法和预处理工具。本文深入讲解基础概念、核心理论、常见问题及解决策略。内容涵盖模型选择与训练、预处理、交叉验证、分类回归、模型评估、数据集划分、正则化、编码分类变量、特征选择与降维、集成学习、超参数调优、模型评估、保存加载及模型解释。学习Sklearn是迈入机器学习领域的关键。
14 3
|
2天前
|
机器学习/深度学习 算法 算法框架/工具
Python深度学习基于Tensorflow(5)机器学习基础
Python深度学习基于Tensorflow(5)机器学习基础
13 2

热门文章

最新文章