常见的概率分布

简介: 离散分布0-1分布(伯努利分布)它的分布律为:\[P\{X=k\}=p^k(1-p)^{1-k},  k=0,1, (0

离散分布

0-1分布(伯努利分布)

它的分布律为:

\[P\{X=k\}=p^k(1-p)^{1-k},  k=0,1, (0<p<1)\]

0-1分布记作:\(X \sim b(1,p)\)

期望:\(E(X)=p\)

方差:\(D(X)=p(1-p)\)

常用的场景:新生婴儿性别的登记,招生考试的录取,产品的是否合格,硬币的正反面。

二项分布

二项分布为\(n\)重伯努利实验的概率分布。

分布律为:

\[P\{X=k\}=\begin{pmatrix}
n\\
k
\end{pmatrix}p^k(1-p)^{n-k},k=0,1,2,...,n,(0<p<1)\]

\[\sum\limits_{k=0}^{n}P\{X=k\}=\sum\limits_{k=0}^{n}\begin{pmatrix}
n\\
k
\end{pmatrix}p^k(1-p)^{n-k}=(p+1-p)^n=1\]

二项分布记作:\( X \sim b(n,p)\)

期望:\(E(X)=np\)

方差:\(D(X)=np(1-p)\)

常用的场景:比如一个人射击\(n\)次,其中\(k\)次命中的概率,抽查50台设备,其中10台出故障的概率等等。

从下面的图中,我们可以看到命中次数先增加,到了3达到最大,之后又逐渐减少,一般来说,对于固定的\(n,p\),都具有这一性质。

(1)当\((n+1)p\)不为整数时,二项概率\(P\{X=k\}\)在\(k=[(n+1)p]\)时达到最大值;

(2)当\((n+1)p\)为整数时,二项概率\(P\{X=k\}\)在\(k=(n+1)p,k=(n+1)p-1\)时达到最大值。

%每轮射击10次,命中概率0.3,射击10000轮,x中返回的是每轮中命中的次数
x=binornd(10,0.3,10000,1);
%bin的数目为10
hist(x,10);

image

N=100;
p=0.4;
k=0:N;
%事件发生k次的概率
pdf=binopdf(k,N,p);
%事件发生不大于k次的概率
cdf=binocdf(k,N,p);
plotyy(k,pdf,k,cdf);
grid on;

image

多项分布

    多项式分布是二项式分布的扩展,在多项式分布所代表的实验中,一次实验会有多个互斥结果,而二项式分布所代表的实验中,一次实验只有两个互斥结果。

    把二项扩展为多项就得到了多项分布。比如扔骰子,不同于扔硬币,骰子有6个面对应6个不同的点数,这样单次每个点数朝上的概率都是1/6(对应p1~p6,它们的值不一定都是1/6,只要和为1且互斥即可,比如一个形状不规则的骰子),重复扔n次,如果问有x次都是点数6朝上的概率就是:

\[C_n^xp^x(1-p)^{n-x}\]

更一般性的问题会问:点数1~6的出现次数分别为(x1,x2,x3,x4,x5,x6)时的概率是多少?其中sum(x1~x6)= n。这就是一个多项式分布问题。这时只需用上边公式思想累乘约减就会得到下面的概率公式

某随机实验如果有\(k\)个可能结局\(A_1,A_2,…,A_k\),分别将他们的出现次数记为随机变量\(X_1,X_2,…,X_k\),它们的概率分布分别是\(p_1,p_2,…,p_k\),那么在\(n\)次采样的总结果中,\(A_1\)出现\(n_1\)次、\(A_2\)出现\(n_2\)次、…、\(A_k\)出现\(n_k\)次的这种事件的出现概率P有下面公式:

\[P(X_1=n_1,...,X_k=n_k)=\left\{\begin{matrix}\frac{n!}{n_1!...n_k!}p_1^{n_1}...p_k^{n_k}, \sum\limits_{i=1}^kn_i=n\\ 0, others\end{matrix}\right.\]

用另一种形式写为:

\[P(X_1=n_1,...,X_k=n_k)=\left\{\begin{matrix} n!\prod\limits_{i=1}^k\frac{p_i^{n_i}}{n_i!}, \sum\limits_{i=1}^kn_i=n\\ 0, others\end{matrix}\right.\]

其中\(\sum\limits_{i=1}^{k}p_i=1\) 。

期望: 设r维随机变量\((x_1,x_2,⋯,x_r)\)服从多项分布,则数学期望是

\[E(x_1,x_2,⋯,x_n)=(np_1,np_2,⋯,np_r)\]

方差:\(Var(x_i)=np_i(1−p_i),i=1,2,⋯,r\)

泊松分布

概率分布为:

\[P\{X=k\}=\frac{\lambda^ke^{-\lambda}}{k!},k=0,1,2,...,\lambda>0\]

泊松分布记作:\(X \sim \pi(\lambda)\)

\[\sum\limits_{k=0}^{\infty}P\{X=k\}=\sum\limits_{k=0}^{\infty}\frac{\lambda^ke^{-\lambda}}{k!}=e^{-\lambda}e^\lambda=1,k=0,1,2,...,\lambda>0\]

期望:\(E(X)=\lambda\)

方差:\(D(X)=\lambda\)

常用场景:一天内网站的访问量,某段时间内发生的交通事故等等。泊松分布适合于描述单位时间(或空间)内随机事件发生的次数。

对于二项分布,如果\(np_n=\lambda\).可以用泊松分布来近似二项分布。

下面的代码画出泊松分布的概率密度图和分布图。

x=0:1:20;
%lambda=5,泊松概率密度
y=poisspdf(x,5);
plot(x,y);
%lambda=5,泊松概率分布
y1=poisscdf(x,5);
figure;
plot(x,y1);
image

image

负二项分布(帕斯卡分布)

进行重复试验时,直到某个事件出现了\(r\)次时停止试验,此时试验进行次数\(X\)服从负二项分布,为二项分布的变体,注意到最后一次一定是成功的,所以是\(C_{k-1}^{r-1}\)而不是\(C_k^r\)

概率分布为:

\[P\{X=k\}=C_{k-1}^{r-1}p^r(1-p)^{k-r},k=r+1,r+2,...,n,(0<p<1)\]

负二项分布记作:\( X \sim b_0(r,p)\)

期望:\(E(X)=\frac{r}{p}\)

方差:\(D(X)=\frac{r(1-p)}{p^2}\)

常用的场景: 比如抽查20台设备,如果出现3次失败就停止抽查,全面停工。

几何分布

负二项分布中,r=1时的特殊情况,即第1次试验成功时,试验进行的次数X的分布。

概率分布为:

\[P\{X=k\}=p(1-p)^k,k=0,1,...,n,(0<p<1)\]

负二项分布记作:\( X \sim b_0(r,p)\)

期望:\(E(X)=\frac{1}{p}\)

方差:\(D(X)=\frac{(1-p)}{p^2}\)

常用的场景: 比如抽查20台设备,如果设备故障,立即停工检修。

超几何分布

to do

单点分布(退化分布)

随机变量取a时,概率为1。

记作: \(b_0(a,1)\)

单点分布记作:\(p(x=a)=1\)

期望:a

方差:0


连续分布

均匀分布

随机变量的概率密度在[a,b]区间上为常数\(\frac{1}{b-a}\),则此随机变量服从均匀分布,意为在某个区间内各取值是等可能的,概率的大小只与长度有关。

均匀分布概率密度函数:

\[f(x)=\left\{\begin{matrix}
\frac{1}{b-a}, a<x<b\\
0, others
\end{matrix}\right.\]

均匀分布分布函数:

\[F(x)=\left\{\begin{matrix}  0,  x<a\\
  \frac{x-a}{b-a}, a \leq x<b\\
  1, x \geq b
  \end{matrix}\right.\]

均匀分布记作: \( U(a,b)\)

期望:\(E(X)=\frac{(a+b)}{2}\)

方差:\(D(X)=\frac{(b-a)^2}{12}\)

正态分布(高斯分布)

http://www.cnblogs.com/mikewolf2002/p/7669977.html

指数分布

为伽玛分布的特殊形式,即当\(\alpha=1\)时的伽玛分布。

均匀分布概率密度函数:

\[f(x)=\left\{\begin{matrix}
\frac{1}{\theta}e^{-x/\theta}, x>0\\
0, others
\end{matrix}\right.\]

均匀分布分布函数:

\[F(x)=\left\{\begin{matrix}  1-e^{-x/\theta},  x>0\\
   0, others
  \end{matrix}\right.\]

均匀分布记作: \(\Gamma(a,b)\)

期望:\(E(X)=\theta\)

方差:\(D(X)=\theta^2\)

指数函数的一个重要特征是无记忆性(Memoryless Property,又称遗失记忆性)。这表示如果一个随机变量呈指数分布,当\(s,t>0\)时有\(P(T>t+s|T>t)=P(T>s)\)。即,如果\(T\)是某一元件的寿命,已知元件使用了\(t\)小时,它总共使用至少\(s+t\)小时的条件概率,与从开始使用时算起它使用至少\(s\)小时的概率相等。

用下面的代码,我们可以画出指数分布的概率密度函数和分布函数图:

x=0:0.1:5;
plot(x,[gampdf(x,1,0.3);gampdf(x,1,1);gampdf(x,1,2)]);
legend('theta=0.3','theta=1','theta=2');
grid on;
figure;
plot(x,[gamcdf(x,1,0.3);gamcdf(x,1,1);gamcdf(x,1,2)]);
legend('theta=0.3','theta=1','theta=2');
grid on;

imageimage


\(\Gamma 分布\)(伽马分布)

http://www.cnblogs.com/mikewolf2002/p/7664944.html

\(\chi^2\)分布(卡方分布)

http://www.cnblogs.com/mikewolf2002/p/7664944.html

t分布(学生氏分布)

to do

非中心t分布

to do

F分布

to do

非中心F分布

to do

对数正态分布

to do

逆高斯分布

to do

非中心\(\chi^2\)分布

to do

韦布尔分布

to do

拉普拉斯分布

to do

瑞利分布

to do

帕雷托分布

to do

极值分布

to do

逻辑斯谛分布

to do

B分布(贝塔分布)

to do

柯西分布

to do


相关文章
|
6月前
|
机器学习/深度学习 算法 调度
多元线性回归梯度下降法
梯度下降法是一种通用的优化算法,尤其适用于机器学习中找到最优解。与解析解法不同,它不局限于特定情况,能在数据规模较大时依然有效。该方法通过迭代逐步接近最优解,每次迭代利用损失函数的梯度信息调整参数。学习率是控制参数更新幅度的关键因素,太大会导致发散,太小则收敛慢。全量梯度下降每次使用所有样本更新,收敛稳定但速度慢;随机梯度下降每次仅用一个样本,速度快但可能产生较大波动;小批量梯度下降取两者之间,以一定的样本批量进行更新,兼顾速度和稳定性。
76 1
|
机器学习/深度学习 数据采集
多项式回归
机器学习中的多项式回归是一种用于解决回归问题的非线性模型。与线性回归不同,
106 2
|
6月前
|
数据采集
R语言用线性模型进行臭氧预测: 加权泊松回归,普通最小二乘,加权负二项式模型,多重插补缺失值
R语言用线性模型进行臭氧预测: 加权泊松回归,普通最小二乘,加权负二项式模型,多重插补缺失值
为什么进行线性回归前需要对特征进行离散化处理?
为什么进行线性回归前需要对特征进行离散化处理?
216 1
|
机器学习/深度学习 算法
24 正态分布和最大熵
24 正态分布和最大熵
91 0
|
机器学习/深度学习 算法
非线性世界的探索:多项式回归解密
非线性世界的探索:多项式回归解密
|
机器学习/深度学习 算法
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-1
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-1
|
机器学习/深度学习
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-2
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-2
|
机器学习/深度学习
先验分布、后验分布、似然估计、贝叶斯估计、最大似然估计
先验分布、后验分布、似然估计、贝叶斯估计、最大似然估计
209 0
先验分布、后验分布、似然估计、贝叶斯估计、最大似然估计
|
机器学习/深度学习
概率和似然
在日常生活中,我们经常使用这些术语。但是在统计学和机器学习上下文中使用时,有一个本质的区别。本文将用理论和例子来解释概率和似然之间的关键区别。
142 0
概率和似然