多因子探索分析

简介: 假设检验检验统计量,根据数据的均值、方差等性质,将数据转换为一个函数,构造这个函数的目的是将这个数据转换为一个已知分布容易解决的格式显著性水平一般用希腊字母a表示,0.05代表数据有95%的可能与已知分布一致。
假设检验

img_e99f8809f73c539eed41d6ff027688ff.png
  • 检验统计量,根据数据的均值、方差等性质,将数据转换为一个函数,构造这个函数的目的是将这个数据转换为一个已知分布容易解决的格式
  • 显著性水平一般用希腊字母a表示,0.05代表数据有95%的可能与已知分布一致。
img_3a53f5e07d2c417bbef4d7570dd46f60.png
img_816c9f76e427e92d3b795bace7ca55ba.png


检验统计量的选择

img_96b916cc193b90f50767d2e678c9377c.png

假设检验的更多实例和详细分析
https://www.zhihu.com/question/263428663/answer/269446279
更深入详细的了解假设检验,参考可汗学院公开课第47、48、49集
http://open.163.com/special/Khan/khstatistics.html




卡方检验

卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度,实际观测值与理论推断值之间的偏离程度就决定卡方值的大小,卡方值越大,越不符合;卡方值越小,偏差越小,越趋于符合,若两个值完全相等时,卡方值就为0,表明理论值完全符合。

img_886dadfee4cfa7aba962a76e01cbcf5b.png
img_0d7ca9188ff26f9206ebf760b06c1fc9.png




方差检验

img_5aa4108063baf92c83fe09fffdd9392c.png

img_beb0528a5ebc7ea60a95b3c6f04f90f0.png




相关系数

相关关系是一种非确定性的关系,相关系数是研究变量之间线性相关程度的量。

img_4164601a9d455d5c52d20edfcecf1c55.png
皮尔逊相关系数:分子是两组数的协方差,分母是标准差的积(这里的u指数学期望)

img_dc08d5ad69b1ec87c1b85a5b15b43958.png
斯皮尔曼相关系数:n指的是样本量,d指的是样本的名次差




代码实现

Scipy简介:Scipy是一个高级的科学计算库,它和Numpy联系很密切,Scipy一般都是操控Numpy数组来进行科学计算,所以可以说是基于Numpy之上了。Scipy有很多子模块可以应对不同的应用,例如插值运算,优化算法、图像处理、数学统计等。

img_3818f00a12cd2223bda4a229d5fea366.png
Scipy库的简介,更多了解参考文档


正态分布检验
import numpy as np
import scipy.stats as ss

norm_dist = ss.norm.rvs(size=20)  
ss.normaltest(norm_dist)  # 不是u检验法,而是基于峰度和偏度的检验方法
>>> NormaltestResult(statistic=0.6142427179815724, pvalue=0.7355613285098694)

ss的正态检验的统计量为0.614,p值为0.73,如果以0.05为显著水平,明显该分布可以判断为正态分布。


卡方检验
ss.chi2_contingency([[15,95],[85,5]])
>>> (126.08080808080808, 2.9521414005078985e-29, 1, array([[55., 55.],
        [45., 45.]]))
# 输出结果依次为检验统计量,p值,自由度,理论分布。
# 这里测试的是本文之前提到的卡方检验的例子。

t检验
#独立分布t检验,用于检验均值是否有差别
ss.ttest_ind(ss.norm.rvs(size=10),ss.norm.rvs(size=20))

ss.ttest_ind(ss.norm.rvs(size=10),ss.norm.rvs(size=200))

方差检验
img_82b9958592eb7347203fe24cda715604.png
ss.f_oneway([49,50,39,40,43],[28,32,30,26,34],[38,48,45,42,48])
>>> F_onewayResult(statistic=18.705009276437828, pvalue=0.00020520945856735003)

QQ图
from statsmodels.graphics.api import qqplot
from matplotlib import pyplot as plt
plt.show(qqplot(ss.norm.rvs(size=100)))
img_723e459337779504638744bad5d6f93f.png
在角平分线上,证明为正态分布
目录
相关文章
|
4月前
|
存储 缓存 Java
分析fastcache和freecache(一)
分析fastcache和freecache(一)
75 5
|
前端开发
R|timeROC-分析
R|timeROC-分析
267 0
R|timeROC-分析
|
Java Android开发
Android内存使用情况分析
Android系统的内存由几个不同的内存池中的几个不同的分配器管理
426 0
Android内存使用情况分析
摊还分析
摊还分析 本章内容: 1.聚合分析 2.核算法 3.势能法 4.动态表   一  聚合分析   1.  在摊还分析中,我们求数据结构的一个操作序列中所执行的所有操作的平均时间,来评价操作的代价,它不涉及概率,可以保证最坏情况下每个操作的平均性能。
774 0
|
SQL
【MySQLprofiling分析
【MySQLprofiling分析
111 0
【MySQLprofiling分析
|
供应链 数据挖掘
场景分析
如何梳理业务流程、建立指标体系?
738 0
场景分析
|
测试技术 C#
艾伟_转载:对于C#中b=a的N种情况分析
  本文旨在验证一个容易混淆的概念,从而为《玩转WPF/Silverlight中INotifyPropertyChanged和ObservableCollection》做铺垫。   两个相同类型的变量a和b,并且有如下关系:        b = a;   如果a发生改变,b是否也发生改变呢?    情况很复杂,分以下几种情况谈论:       1) 单个实体             1.
797 0