程序员的数学【概率论】(三)

简介: 本文其实值属于:程序员的数学【AIoT阶段二】 的一部分内容,本篇把这部分内容单独截取出来,方便大家的观看,本文介绍 概率论

九、协方差

🚩协方差是对于方差的推广,对于两个随机变量,它们的协方差是反应它们两个之间的线性相关程度的,把 x 2 换成 x 1那就是方差了,展开之后就是 x 1 和 x 2  的期望减去它们期望的乘积。

方差公式:

33.png

协方差公式:34.png

image.png

显然这是一个对称阵,这在我们机器学习里面会经常使用的!

import numpy as np
X = np.random.randint(1, 20, size = (5, 5))
# numpy计算cov
display(np.cov(X,
               rowvar = False,# 按照列,进行计算
               bias = True))# 计算的是总体方差
print('第一行第一个协方差:%0.2f' %
      (np.mean(X[:, 0] ** 2) - (np.mean(X[:, 0])) ** 2))
print('第一行第二个协方差:%0.2f' %
      (np.mean(X[:, 0] * X[:, 1]) - X[:, 0].mean() * X[:, 1].mean()))
print('第一行最后一个协方差:%0.2f' %
      (np.mean(X[:, 0] * X[:, -1]) - (np.mean(X[:, 0])) * (np.mean(X[:, -1]))))

35.png

十、机器学习中常见分布

正太分布:

36.png

均匀分布:

37.png

二项分布:

38.png

自然界和生活中很多事件都服从正太分布的,或者近似的服从正太分布的,比如人的身高、体重和智商,大部分人是平均值,小部分人比较胖,或比较瘦;比较高,或比较矮;比较愚钝,或比较聪明。还有考试成绩啊,人的收入等这些都近似服从正太分布。


二项分布拿我们抛硬币的例子来说,比如 x = 0 是背面朝下的概率,x = 1  是正面朝上的概率,那么它取值只有 0  或 1  两种情况。当然不用 0 或 1 ,你用 − 1 和 + 1  也是可以的。都是二项分布,取每个值都有一个概率值。在我们机器学习中,主要用的就是这几种概率分布。


十一、最大似然估计

🚩最大似然是估计(求解)一个概率密度函数中参数问题的。比如有个向量X,θ 是它的参数,比如正太分布中的μ 和 σ这都是需要估计的参数。

image.png

那我们怎么估计这组参数呢?肯定是根据一组样本来学习,假设我们有 n  个样本它们是独立同分布的,也就是说它们服从同样一个概率分布,并且它们之间相互独立的,抽样出来的


那么所有变量发生的概率就可以写成它们乘积的形式,因为它们之间是相互独立的嘛,这时 L  是似然函数,这里 x  是已经取了具体样本的值了,θ  是我们要估计的参数

image.png

既然这组样本是已经抽样抽出来的,是已经发生的,我们肯定要把它发生的概率最大化,也就是说要最大化这样一个似然函数

image.png

求解一个函数的极值,就是要求解它的导数,也就是梯度等于0

image.png

而这样的乘积形式求导是不容易的(多个累乘,就更加麻烦!),之前讲过导数求导公式

image.png

如果更多项展开是非常麻烦的,所以我们可以对函数取对数,因为对数函数是单调增函数,所以求原函数的极值,也等于求它的对数形式的极值,所以我们两边取对数的话,就把连乘的形式转化为了连加的形式,因为连加的形式的导数,就是等于导数的连加39.png

所以我们要解决的问题就是求这个函数的极大值,这个可以对 θ  求导让它等于 0 得到,带 log ⁡的是对数似然函数,这就是最大似然函数最基本的思想

image.png

如果数据符合正太分布,那么通过最大似然可以推导出线性回归的损失函数MSE(最小二乘法):

40.png



目录
相关文章
|
缓存 搜索推荐 安全
互联网人不可或缺的资源搜索引擎
我们改变不了世界,是世界改变了我们。Designed by QianYu1.猎手导航搜索网站简介史上最强大的资源搜索引擎,猎手导航集搜索引擎搜索、社交搜索、BT磁力搜索、学术文档搜索...
43180 0
|
8月前
|
人工智能 API 开发者
保姆级步骤流程:OpenClaw阿里云/本地部署+Coding Plan API配置+小红书自动发图文Skill及常见问题解答
2026年,小红书已成为内容创作、品牌推广、私域引流的核心阵地,无论是自媒体博主、中小企业,还是个人创业者,都需要持续输出高质量图文笔记,才能抢占流量红利。但传统小红书运营模式痛点突出:选题耗时久、文案撰写反复修改、封面设计依赖专业工具、发布流程繁琐,且需手动维护发布频率,耗费大量时间与精力,成为很多人入局小红书的“绊脚石”。
1477 1
|
4月前
|
存储 缓存 监控
京东商品详情API比价数据自动化解析开发方案
本项目基于京东官方API构建合规稳定的商品比价系统,实现自动化数据拉取、多规格解析、多维度比价分析(价格/促销/库存/服务)、历史价格追踪与低价预警,并支持报表导出与可视化,全面提升电商比价效率与准确性。
379 0
|
4月前
|
存储 SQL 运维
Seata 分布式事务实战:从 AT 模式到阿里云 GTS 方案
微服务拆分后,跨服务的数据一致性成为最棘手的难题。Seata 作为阿里巴巴开源的分布式事务框架,提供了 AT、TCC、Saga、XA 四种事务模式。阿里云 GTS(全局事务服务)是 Seata 的云托管增强版。本文从电商下单场景出发,实战演示 Seata AT 模式的完整接入流程(订单→库存→账户三服务事务),对比 AT/TCC/Saga 的适用场景,并介绍阿里云 GTS 托管方案和选型建议。
|
7月前
|
人工智能 自然语言处理 安全
【详细版教程】OpenClaw 2.6.2 Windows10 部署完整教程
OpenClaw(小龙虾)是专为Windows10优化的本地AI智能体框架,支持一键部署、零代码配置,可跨软件自动执行文件整理、邮件发送、浏览器操作等任务。数据完全本地运行,保障隐私安全,10分钟即可搭建属于你的AI数字员工。
|
9月前
|
机器学习/深度学习 数据可视化 关系型数据库
【重磅原创改进代码】基于自适应峰谷感知(APVP)多头注意力(MHA)多任务学习(MTL)的多变量多输出时间序列预测【电气综合能源】(Python代码实现)
【重磅原创改进代码】基于自适应峰谷感知(APVP)多头注意力(MHA)多任务学习(MTL)的多变量多输出时间序列预测【电气综合能源】(Python代码实现)
439 2
|
10月前
|
前端开发
基于开源多商户商城系统的多行业应用场景解析
多商户商城系统不仅是电商工具,更是灵活的平台型业务框架。只要满足“多主体入驻、独立经营、平台统管”三大条件,即可适配本地生活、垂直电商、品牌联营、知识付费、区域联盟等多元场景。开源特性支持规则定制与流程重构,让行业逻辑真正落地系统。(239字)
|
机器学习/深度学习 缓存 人工智能
一文了解DeepSeek及应用场景
本文详细介绍了DeepSeek及其应用场景,涵盖了大模型的发展历程、基本原理和分类(通用与推理模型)。文章分析了DeepSeek的具体特性、性能优势、低成本训练与调用特点,以及其技术路线(如MoE、MLA架构),并与竞品进行了对比。此外,还探讨了DeepSeek在金融风控等领域的应用前景。
一文了解DeepSeek及应用场景
|
弹性计算 Ubuntu Linux
一键部署OpenWebUI+Ollama到阿里云ECS,轻松运行DeepSeek!(保姆级教程)
在当今数据驱动的时代,快速部署和管理大模型成为企业的关键需求。阿里云提供了一键部署OpenWebUI+Ollama的便捷方案,支持本地大模型运行和管理。用户也可以选择连接阿里云百炼的在线模型。
一键部署OpenWebUI+Ollama到阿里云ECS,轻松运行DeepSeek!(保姆级教程)