1 假设检验的基本思想
举例理解,如检验"小明是一个从来不做坏事的好人"
按照这个假设前提,小明不会干坏事或干坏事的几率是非常小的,但是只有有一个人发现他干坏事,说明事情的假设是不可靠的,就可以否定这个说法。当然这个结论是不确定的,是有犯错的概率的。
2 假设检验的基本原理
基本原理就是观测小概率时间在假设成立的情况下是否发生,如果再一次试验中小概率事件发生了,说明该假设在一定的显著性水平下不可靠或不成立,从而否定假设
如果一次试验中小概率事件没有发生,只能说明没有足够理由相信假设是否错误,但是不能说明假设是正确的,因为在现有的条件下无法手机所有的证据去证明它是正确的。
3 假设检验中可能犯的错误
假设检验的结论是在一定的显著性水平下得出的,当我们去观测事件并下结论的时候,是有可能犯错误的。在假设检验过程中,无法不保证不犯错误,这些错误归纳为两类
- 第一类错误:当假设为真的时候,却否定它而犯的错误,即拒绝正确假设的错误,也叫弃真错误。犯第一类错误的概率记为 α \alpha α,所以通常叫做 α \alpha α错误, α \alpha α\= 1-置信度
- 第二类错误:当假设为假时却肯定它而犯的错误,即接受错误假设的错误,也叫纳伪错误,犯第二类错误的概率记为 β \beta β,所以通常也叫做 α \alpha α错误。
两类错误在其他条件不变的情况下,是相反想成的,即 α \alpha α增大时, β \beta β减小; α \alpha α减小时, β \beta β增大。想要同时减小两类错误,只能增加样本量。
在Python数据分析中, α \alpha α称为理论的显著性水平,P称为实际的显著性水平,P值也具体指在记性检验过程汇总实际犯第一类错误的概率
当P值比 α \alpha α小:说明实际计算的显著性水平比理论的显著性水平更小,小概率时间在一次试验中发生的几率更小。在P值的显著性水平条件下,如果还能观测到小概率时间发生,则说明假设更加不可靠,可以对架设做出否定的判断。
当P值比 α \alpha α大:在P值的显著性水平下,如果能够观测得到小概率事件发生,说明假设可能没有任何问题,因为本来观测一个概率比较大的时间,起发生的可能本来就比较大,不能对假设做出否定的判断。
总之,在Python中进行假设检验,P值越小越能否定原假设。
4 假设检验的基本步骤
4.1 第一步:提出假设
假设就是对总体特征的一个特定描述。假设分为原假设和备择假设
原假设(零假设):通常情况下把想要搜集证据去否定的结论作为原假设。
备择假设(研究假设):通常情况下爱把想要搜集证据去支持的结论作为备择假设。当备择假设含有 ≠ 时,称为双侧或双尾检验;当备择假设汇总含有<或>时称为单侧或单尾检验。
4.2 第二步:确定理论的显著性水平 α
理论的显著性水平 α ,通常情况下取0.05、0.1\或0.001等等常用数值。
4.3 第三步:计算用于检验的统计量
根据一直条件和总体分布情况,在原假设成立的情况下,选择计算用于检验的统计量。
其中 σ 表示总体标准差; ni 表示样本容量, nd表示成对样本的个数; X、p、 s2分别表示样本均值、样本比例和样本方差; di表示成对样本的两组变量值之差; μ、π、σ02表示原假设成立时的总体均值、总体比例和总体方差。
4.4 第四步:根据统计量对应的P值进行判断假设
python中工具检验函数,可以直接计算出P值,如果P ≤ α,说明在显著性水平 α 条件下,原假设不成立,拒绝原假设,选择备择假设;如果P> α,说明在显著性水平条件下,没有充分证据表明我们应当拒绝假设。
如果没有指定 α 的值,则P值越小越显著。
5 假设检验中总体的集中不同情况
在统计推断之前,应该根据总体的不同分布情况,选择不同统计量形式,检验所用统计量的形式和步骤取决于所抽取样本的样本量大小,无论大样本还是小样本。
(1)大样本的检验方法
样本来量大于30的称为大样本。以总体均值的假设检验为例,在大样本的情况下,根据重心极限定理,均值的抽样分布服从正态分布,所以可以使用正态统计量(Z统计量)进行假设检验。
(2)小样本的检验方法
样本量小于30的称为小样本,对于小样本的情况分为两种。当总体方差已知时,仍然使用正态统计量。当总体方差未知时,则使用t统计量,t统计量服从自由度为(n-1)的t分布。