【Python数据分析】假设检验的基本思想、原理和步骤

简介: 文章详细介绍了假设检验的基本思想、原理、可能犯的错误类型、基本步骤以及在不同总体情况下的检验方法,阐述了如何在Python中应用假设检验,并通过P值来判断假设的可靠性。

1 假设检验的基本思想

举例理解,如检验"小明是一个从来不做坏事的好人"

按照这个假设前提,小明不会干坏事或干坏事的几率是非常小的,但是只有有一个人发现他干坏事,说明事情的假设是不可靠的,就可以否定这个说法。当然这个结论是不确定的,是有犯错的概率的。

2 假设检验的基本原理

基本原理就是观测小概率时间在假设成立的情况下是否发生,如果再一次试验中小概率事件发生了,说明该假设在一定的显著性水平下不可靠或不成立,从而否定假设

如果一次试验中小概率事件没有发生,只能说明没有足够理由相信假设是否错误,但是不能说明假设是正确的,因为在现有的条件下无法手机所有的证据去证明它是正确的。

3 假设检验中可能犯的错误

假设检验的结论是在一定的显著性水平下得出的,当我们去观测事件并下结论的时候,是有可能犯错误的。在假设检验过程中,无法不保证不犯错误,这些错误归纳为两类

  • 第一类错误:当假设为真的时候,却否定它而犯的错误,即拒绝正确假设的错误,也叫弃真错误。犯第一类错误的概率记为 α \alpha α,所以通常叫做 α \alpha α错误, α \alpha α\= 1-置信度
  • 第二类错误:当假设为假时却肯定它而犯的错误,即接受错误假设的错误,也叫纳伪错误,犯第二类错误的概率记为 β \beta β,所以通常也叫做 α \alpha α错误。

两类错误在其他条件不变的情况下,是相反想成的,即 α \alpha α增大时, β \beta β减小; α \alpha α减小时, β \beta β增大。想要同时减小两类错误,只能增加样本量。

在Python数据分析中, α \alpha α称为理论的显著性水平,P称为实际的显著性水平,P值也具体指在记性检验过程汇总实际犯第一类错误的概率

当P值比 α \alpha α小:说明实际计算的显著性水平比理论的显著性水平更小,小概率时间在一次试验中发生的几率更小。在P值的显著性水平条件下,如果还能观测到小概率时间发生,则说明假设更加不可靠,可以对架设做出否定的判断。

当P值比 α \alpha α大:在P值的显著性水平下,如果能够观测得到小概率事件发生,说明假设可能没有任何问题,因为本来观测一个概率比较大的时间,起发生的可能本来就比较大,不能对假设做出否定的判断。

总之,在Python中进行假设检验,P值越小越能否定原假设。

4 假设检验的基本步骤

4.1 第一步:提出假设

假设就是对总体特征的一个特定描述。假设分为原假设和备择假设

原假设(零假设):通常情况下把想要搜集证据去否定的结论作为原假设。

备择假设(研究假设):通常情况下爱把想要搜集证据去支持的结论作为备择假设。当备择假设含有 ≠ 时,称为双侧或双尾检验;当备择假设汇总含有<或>时称为单侧或单尾检验。

4.2 第二步:确定理论的显著性水平 α

理论的显著性水平 α ,通常情况下取0.05、0.1\或0.001等等常用数值。

4.3 第三步:计算用于检验的统计量

根据一直条件和总体分布情况,在原假设成立的情况下,选择计算用于检验的统计量。

1.jpeg

其中 σ 表示总体标准差; ni ​表示样本容量, nd表示成对样本的个数; X、p、 s2分别表示样本均值、样本比例和样本方差; di​表示成对样本的两组变量值之差; μ、π、σ02​表示原假设成立时的总体均值、总体比例和总体方差。

4.4 第四步:根据统计量对应的P值进行判断假设

python中工具检验函数,可以直接计算出P值,如果P ≤ α,说明在显著性水平 α 条件下,原假设不成立,拒绝原假设,选择备择假设;如果P> α,说明在显著性水平条件下,没有充分证据表明我们应当拒绝假设。

如果没有指定 α 的值,则P值越小越显著。

5 假设检验中总体的集中不同情况

在统计推断之前,应该根据总体的不同分布情况,选择不同统计量形式,检验所用统计量的形式和步骤取决于所抽取样本的样本量大小,无论大样本还是小样本。

(1)大样本的检验方法

样本来量大于30的称为大样本。以总体均值的假设检验为例,在大样本的情况下,根据重心极限定理,均值的抽样分布服从正态分布,所以可以使用正态统计量(Z统计量)进行假设检验。

(2)小样本的检验方法

样本量小于30的称为小样本,对于小样本的情况分为两种。当总体方差已知时,仍然使用正态统计量。当总体方差未知时,则使用t统计量,t统计量服从自由度为(n-1)的t分布。

目录
相关文章
|
7月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。
|
7月前
|
机器学习/深度学习 监控 数据挖掘
Python 高效清理 Excel 空白行列:从原理到实战
本文介绍如何使用Python的openpyxl库自动清理Excel中的空白行列。通过代码实现高效识别并删除无数据的行与列,解决文件臃肿、读取错误等问题,提升数据处理效率与准确性,适用于各类批量Excel清理任务。
688 0
|
7月前
|
数据可视化 关系型数据库 MySQL
【可视化大屏】全流程讲解用python的pyecharts库实现拖拽可视化大屏的背后原理,简单粗暴!
本文详解基于Python的电影TOP250数据可视化大屏开发全流程,涵盖爬虫、数据存储、分析及可视化。使用requests+BeautifulSoup爬取数据,pandas存入MySQL,pyecharts实现柱状图、饼图、词云图、散点图等多种图表,并通过Page组件拖拽布局组合成大屏,支持多种主题切换,附完整源码与视频讲解。
763 4
【可视化大屏】全流程讲解用python的pyecharts库实现拖拽可视化大屏的背后原理,简单粗暴!
|
8月前
|
机器学习/深度学习 文字识别 Java
Python实现PDF图片OCR识别:从原理到实战的全流程解析
本文详解2025年Python实现扫描PDF文本提取的四大OCR方案(Tesseract、EasyOCR、PaddleOCR、OCRmyPDF),涵盖环境配置、图像预处理、核心识别与性能优化,结合财务票据、古籍数字化等实战场景,助力高效构建自动化文档处理系统。
2175 0
机器学习/深度学习 算法 自动驾驶
1365 0
|
8月前
|
数据可视化 数据挖掘 大数据
基于python大数据的水文数据分析可视化系统
本研究针对水文数据分析中的整合难、分析单一和可视化不足等问题,提出构建基于Python的水文数据分析可视化系统。通过整合多源数据,结合大数据、云计算与人工智能技术,实现水文数据的高效处理、深度挖掘与直观展示,为水资源管理、防洪减灾和生态保护提供科学决策支持,具有重要的应用价值和社会意义。
|
8月前
|
数据采集 数据可视化 数据挖掘
Python数据分析实战:Pandas处理结构化数据的核心技巧
在数据驱动时代,结构化数据是分析决策的基础。Python的Pandas库凭借其高效的数据结构和丰富的功能,成为处理结构化数据的利器。本文通过真实场景和代码示例,讲解Pandas的核心操作,包括数据加载、清洗、转换、分析与性能优化,帮助你从数据中提取有价值的洞察,提升数据处理效率。
419 3
|
8月前
|
数据可视化 Linux iOS开发
Python脚本转EXE文件实战指南:从原理到操作全解析
本教程详解如何将Python脚本打包为EXE文件,涵盖PyInstaller、auto-py-to-exe和cx_Freeze三种工具,包含实战案例与常见问题解决方案,助你轻松发布独立运行的Python程序。
1967 2
|
8月前
|
设计模式 缓存 运维
Python装饰器实战场景解析:从原理到应用的10个经典案例
Python装饰器是函数式编程的精华,通过10个实战场景,从日志记录、权限验证到插件系统,全面解析其应用。掌握装饰器,让代码更优雅、灵活,提升开发效率。
599 0

推荐镜像

更多