机器学习数学基础四:随机变量和概率论基础

简介: 不管是离散型还是连续型,似然函数是一样的,概率表达了在给定参数a时X=x的可能性,而似然函数表示的是在给定样本X=x时参数的可能性。

一,连续与离散随机变量


离散型随机变量:一个一个的(有限多个)十分明确的分类


连续型随机变量:无法直观观察数据,无法明确分类


1,离散型随机变量


a229e84da3c2452b9571927dc6d5c25e.png


能明确得到每种情况下对应得概率值,且所有情况的概率值一加等于一。


2,连续型随机变量


概率密度:对于连续型随机变量X,我们不能给出其取每一 个值的概率也就是画不出那个分布表,这里我们选择使用密度来表示其概率分布!


923760e99ffb48bfa455db97a432d379.png


dd6ec7385489422f93e16c175e601bad.png


3,简单随机抽样


抽取的样本满足两点:


样本x1,x2.。。。xn是相互独立的随机变量


样本x1,x2.。。。xn与总体同分布


112e3915e2164b0bbe65dea2f0b60f0f.png


4,似然函数


201d11ac5b954896ab99af4dd937ce54.png


不管是离散型还是连续型,似然函数是一样的,概率表达了在给定参数a时X=x的可能性,而似然函数表示的是在给定样本X=x时参数的可能性。


5,极大似然估计


5ca908202c3f44538f5d4afa05de685f.png


首先我有一个数据集,极大似然估计要做的就是找出一个参数,使得在这个参数使用时,数据集出现的概率最大。


81819d59f75e4a0a8a1ce48c9fbf6d95.png


并不是求参数的最大值,而是求概率的最大值。


极大似然估计求解


ab9ada14ea1b4996af38e31737169746.png


例子:


d3d60d268e6c4b8c87b1772dc6864d91.png

1a5ec0e5591e42a6bf42197bb333fdca.png


二,概率论基础


1,概率论是干什么的?


研究随机现象数量规矩的数学分支


2,随机事件是什么?


1)可以在相同条件下重复执行


2)事先就能知道可能出现的结果


3)试验开始前并不知道这一次的结果


随机试验E的所有结果构成的集合称为E的样本空间S


3,概率与频率


d0f7a31fa416497e8e84ccc06816ce8b.png


当试验足够多的时候,频率的稳定值就是概率


以抛硬币为例:


12bc7079173f4f11b3bc04a45716b2f4.png


4,古典概型


定义:


实验E中样本点是有限的,出现每一样本点的概率是相同的。


ca2f6f01cfb247428ee18c10a55a5d39.png


5,条件概率


3113985f50324d1a9b892b20348428ff.png

5d36905475564ec9a961c8f16f4bc07b.png

5c345eeaf64e4f9b9d0a4afff6c3cfb2.png


6,独立性


f53cd9d8649c4915a11ea2ef82cca0d6.png


7,独立试验


affa625d67ae4a6dbd221a6979193c2b.png

451538a67ddf4928a106845a766e51d3.png


8,二维随机变量


9eaf6de55a4e4709851bd4330552bf51.png

56ad1f42730d4878bc6f196dad35a0bd.png


1)二维离散型随机变量


da971257c48a44b3bdf50e991484b6a8.png


2)二维连续型随机变量


dd0c9ecd76904d358fc4abe525fe55c4.png


例子:


5201ab2d4649446ea25d7430200abf65.png


9,边缘分布


ded018cc54bb48cfbc13c7b89b63bdf2.png


05c9936d6ca54dc5aa0013ade68d2110.png


1)离散型随机变量边缘分布


cded1ead634e4499848641522f9d8e3a.png


2)连续型随机变量边缘分布


05bc131f852f4d979eeb145295a1a2a3.png


例子:


b377b1cbfc1b4de9b6484bf5ce557846.png


10,期望


641692a453254e87a0b8763821f5f13e.png

ae921d8a407f4860a9b71817fe4318c7.png


11,期望求解


094478ee5cb2423d9d59cf24d80d1550.png


例子:


c64c5e7a3d5d49719ce161db79f9af76.png


12,数学期望的性质


770ba06a043e4c33b8503980a008767f.png


13,方差


数学期望反映了随机变量的取值水平,衡量随机变量相对于数学期望的分散程度则的另一一个数字特征。


307a49cd4f3546cdb0396d5258a0f392.png


大数定理:


在试验不变的条件下,重复实验多次,随机事件的频率近似于它的概率。


14,马尔科夫不等式


f35df3fefff84c8291f0f82c21b7b150.png


15,切比雪夫不等式


0751faa72b654cde9bd68889d059c19b.png


例子:


c084a1539c3f4e02b8e3f5c761ae288d.png


中心极限定理:


8e6df8d3c8344fce83f34c8af6134692.png


16,后验概率估计


ec601834a149452a97b72aac10efadaf.png

1cfc598df5474e3a99aaf6d162b88643.png


以上大部分图片来自于:


985+211浙大强推(全129讲)【机器学习-数学基础课程】绝对通俗易懂!学不会来打我(人工智能/AI/深度学习/机器学习入门/微积分/概率论)_哔哩哔哩_bilibili

目录
相关文章
|
6月前
|
机器学习/深度学习 资源调度
【机器学习】高斯分布-概率密度函数
【1月更文挑战第23天】【机器学习】高斯分布-概率密度函数
【机器学习】高斯分布-概率密度函数
|
6月前
|
机器学习/深度学习 算法 数据挖掘
【机器学习】算法术语、决策函数、概率模型、神经网络的详细讲解(图文解释)
【机器学习】算法术语、决策函数、概率模型、神经网络的详细讲解(图文解释)
173 1
|
1月前
|
机器学习/深度学习 程序员
【机器学习】朴素贝叶斯原理------迅速了解常见概率的计算
【机器学习】朴素贝叶斯原理------迅速了解常见概率的计算
|
2月前
|
机器学习/深度学习 数据采集 存储
一文读懂蒙特卡洛算法:从概率模拟到机器学习模型优化的全方位解析
蒙特卡洛方法起源于1945年科学家斯坦尼斯劳·乌拉姆对纸牌游戏中概率问题的思考,与约翰·冯·诺依曼共同奠定了该方法的理论基础。该方法通过模拟大量随机场景来近似复杂问题的解,因命名灵感源自蒙特卡洛赌场。如今,蒙特卡洛方法广泛应用于机器学习领域,尤其在超参数调优、贝叶斯滤波等方面表现出色。通过随机采样超参数空间,蒙特卡洛方法能够高效地找到优质组合,适用于处理高维度、非线性问题。本文通过实例展示了蒙特卡洛方法在估算圆周率π和优化机器学习模型中的应用,并对比了其与网格搜索方法的性能。
303 1
|
5月前
|
机器学习/深度学习 数据挖掘 Python
机器学习之pandas基础——pandas与概率论的简短碰面
机器学习之pandas基础——pandas与概率论的简短碰面
49 4
|
5月前
|
机器学习/深度学习
技术心得:机器学习的数学基础
技术心得:机器学习的数学基础
37 0
|
5月前
|
机器学习/深度学习 人工智能 算法
【机器学习】概率模型在机器学习中的应用:以朴素贝叶斯分类去为例
【机器学习】概率模型在机器学习中的应用:以朴素贝叶斯分类去为例
87 0
|
6月前
|
机器学习/深度学习 人工智能 数据挖掘
【机器学习】贝叶斯统计中,“先验概率”和“后验概率”的区别?
【5月更文挑战第11天】【机器学习】贝叶斯统计中,“先验概率”和“后验概率”的区别?
|
6月前
|
机器学习/深度学习
【机器学习】贝叶斯统计中,“似然”和“后验概率”有什么区别?
【5月更文挑战第11天】【机器学习】贝叶斯统计中,“似然”和“后验概率”有什么区别?
|
6月前
|
机器学习/深度学习 人工智能
【人工智能】<吴恩达-机器学习>多变量线性回归&学习率&特征值
【1月更文挑战第26天】【人工智能】<吴恩达-机器学习>多变量线性回归&学习率&特征值