【Python数据分析】假设检验的基本思想、原理和步骤

简介: 文章详细介绍了假设检验的基本思想、原理、可能犯的错误类型、基本步骤以及在不同总体情况下的检验方法,阐述了如何在Python中应用假设检验,并通过P值来判断假设的可靠性。

1 假设检验的基本思想

举例理解,如检验"小明是一个从来不做坏事的好人"

按照这个假设前提,小明不会干坏事或干坏事的几率是非常小的,但是只有有一个人发现他干坏事,说明事情的假设是不可靠的,就可以否定这个说法。当然这个结论是不确定的,是有犯错的概率的。

2 假设检验的基本原理

基本原理就是观测小概率时间在假设成立的情况下是否发生,如果再一次试验中小概率事件发生了,说明该假设在一定的显著性水平下不可靠或不成立,从而否定假设

如果一次试验中小概率事件没有发生,只能说明没有足够理由相信假设是否错误,但是不能说明假设是正确的,因为在现有的条件下无法手机所有的证据去证明它是正确的。

3 假设检验中可能犯的错误

假设检验的结论是在一定的显著性水平下得出的,当我们去观测事件并下结论的时候,是有可能犯错误的。在假设检验过程中,无法不保证不犯错误,这些错误归纳为两类

  • 第一类错误:当假设为真的时候,却否定它而犯的错误,即拒绝正确假设的错误,也叫弃真错误。犯第一类错误的概率记为 α \alpha α,所以通常叫做 α \alpha α错误, α \alpha α\= 1-置信度
  • 第二类错误:当假设为假时却肯定它而犯的错误,即接受错误假设的错误,也叫纳伪错误,犯第二类错误的概率记为 β \beta β,所以通常也叫做 α \alpha α错误。

两类错误在其他条件不变的情况下,是相反想成的,即 α \alpha α增大时, β \beta β减小; α \alpha α减小时, β \beta β增大。想要同时减小两类错误,只能增加样本量。

在Python数据分析中, α \alpha α称为理论的显著性水平,P称为实际的显著性水平,P值也具体指在记性检验过程汇总实际犯第一类错误的概率

当P值比 α \alpha α小:说明实际计算的显著性水平比理论的显著性水平更小,小概率时间在一次试验中发生的几率更小。在P值的显著性水平条件下,如果还能观测到小概率时间发生,则说明假设更加不可靠,可以对架设做出否定的判断。

当P值比 α \alpha α大:在P值的显著性水平下,如果能够观测得到小概率事件发生,说明假设可能没有任何问题,因为本来观测一个概率比较大的时间,起发生的可能本来就比较大,不能对假设做出否定的判断。

总之,在Python中进行假设检验,P值越小越能否定原假设。

4 假设检验的基本步骤

4.1 第一步:提出假设

假设就是对总体特征的一个特定描述。假设分为原假设和备择假设

原假设(零假设):通常情况下把想要搜集证据去否定的结论作为原假设。

备择假设(研究假设):通常情况下爱把想要搜集证据去支持的结论作为备择假设。当备择假设含有 ≠ 时,称为双侧或双尾检验;当备择假设汇总含有<或>时称为单侧或单尾检验。

4.2 第二步:确定理论的显著性水平 α

理论的显著性水平 α ,通常情况下取0.05、0.1\或0.001等等常用数值。

4.3 第三步:计算用于检验的统计量

根据一直条件和总体分布情况,在原假设成立的情况下,选择计算用于检验的统计量。

1.jpeg

其中 σ 表示总体标准差; ni ​表示样本容量, nd表示成对样本的个数; X、p、 s2分别表示样本均值、样本比例和样本方差; di​表示成对样本的两组变量值之差; μ、π、σ02​表示原假设成立时的总体均值、总体比例和总体方差。

4.4 第四步:根据统计量对应的P值进行判断假设

python中工具检验函数,可以直接计算出P值,如果P ≤ α,说明在显著性水平 α 条件下,原假设不成立,拒绝原假设,选择备择假设;如果P> α,说明在显著性水平条件下,没有充分证据表明我们应当拒绝假设。

如果没有指定 α 的值,则P值越小越显著。

5 假设检验中总体的集中不同情况

在统计推断之前,应该根据总体的不同分布情况,选择不同统计量形式,检验所用统计量的形式和步骤取决于所抽取样本的样本量大小,无论大样本还是小样本。

(1)大样本的检验方法

样本来量大于30的称为大样本。以总体均值的假设检验为例,在大样本的情况下,根据重心极限定理,均值的抽样分布服从正态分布,所以可以使用正态统计量(Z统计量)进行假设检验。

(2)小样本的检验方法

样本量小于30的称为小样本,对于小样本的情况分为两种。当总体方差已知时,仍然使用正态统计量。当总体方差未知时,则使用t统计量,t统计量服从自由度为(n-1)的t分布。

目录
相关文章
|
21天前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析的入门指南
本文将引导读者了解如何使用Python进行数据分析,从安装必要的库到执行基础的数据操作和可视化。通过本文的学习,你将能够开始自己的数据分析之旅,并掌握如何利用Python来揭示数据背后的故事。
|
25天前
|
机器学习/深度学习 Python
堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能
本文深入探讨了堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能。文章详细介绍了堆叠的实现步骤,包括数据准备、基础模型训练、新训练集构建及元学习器训练,并讨论了其优缺点。
43 3
|
25天前
|
机器学习/深度学习 算法 数据挖掘
线性回归模型的原理、实现及应用,特别是在 Python 中的实践
本文深入探讨了线性回归模型的原理、实现及应用,特别是在 Python 中的实践。线性回归假设因变量与自变量间存在线性关系,通过建立线性方程预测未知数据。文章介绍了模型的基本原理、实现步骤、Python 常用库(如 Scikit-learn 和 Statsmodels)、参数解释、优缺点及扩展应用,强调了其在数据分析中的重要性和局限性。
53 3
|
26天前
|
测试技术 Python
手动解决Python模块和包依赖冲突的具体步骤是什么?
需要注意的是,手动解决依赖冲突可能需要一定的时间和经验,并且需要谨慎操作,避免引入新的问题。在实际操作中,还可以结合使用其他方法,如虚拟环境等,来更好地管理和解决依赖冲突😉。
|
6天前
|
缓存 数据安全/隐私保护 Python
python装饰器底层原理
Python装饰器是一个强大的工具,可以在不修改原始函数代码的情况下,动态地增加功能。理解装饰器的底层原理,包括函数是对象、闭包和高阶函数,可以帮助我们更好地使用和编写装饰器。无论是用于日志记录、权限验证还是缓存,装饰器都可以显著提高代码的可维护性和复用性。
20 5
|
19天前
|
缓存 开发者 Python
深入探索Python中的装饰器:原理、应用与最佳实践####
本文作为技术性深度解析文章,旨在揭开Python装饰器背后的神秘面纱,通过剖析其工作原理、多样化的应用场景及实践中的最佳策略,为中高级Python开发者提供一份详尽的指南。不同于常规摘要的概括性介绍,本文摘要将直接以一段精炼的代码示例开篇,随后简要阐述文章的核心价值与读者预期收获,引领读者快速进入装饰器的世界。 ```python # 示例:一个简单的日志记录装饰器 def log_decorator(func): def wrapper(*args, **kwargs): print(f"Calling {func.__name__} with args: {a
33 2
|
27天前
|
机器学习/深度学习 人工智能 算法
强化学习在游戏AI中的应用,从基本原理、优势、应用场景到具体实现方法,以及Python在其中的作用
本文探讨了强化学习在游戏AI中的应用,从基本原理、优势、应用场景到具体实现方法,以及Python在其中的作用,通过案例分析展示了其潜力,并讨论了面临的挑战及未来发展趋势。强化学习正为游戏AI带来新的可能性。
75 4
|
28天前
|
存储 数据可视化 数据挖掘
使用Python进行数据分析和可视化
本文将引导你理解如何使用Python进行数据分析和可视化。我们将从基础的数据结构开始,逐步深入到数据处理和分析的方法,最后通过实际的代码示例来展示如何创建直观的数据可视化。无论你是初学者还是有经验的开发者,这篇文章都将为你提供有价值的见解和技巧。让我们一起探索数据的世界,发现隐藏在数字背后的故事!
|
26天前
|
存储 数据可视化 数据挖掘
Python数据分析项目:抖音短视频达人粉丝增长趋势
Python数据分析项目:抖音短视频达人粉丝增长趋势
|
1月前
|
数据采集 存储 数据可视化
Python数据分析:揭秘"黑神话:悟空"Steam用户评论趋势
Python数据分析:揭秘"黑神话:悟空"Steam用户评论趋势
下一篇
DataWorks