交叉熵初识-cross entropy

简介: 交叉熵初识-cross entropy

定义


在信息论中,交叉熵是表示两个概率分布p,q,其中p表示真实分布,q表示非真实分布,在相同的一组事件中,其中,用非真实分布q来表示某个事件发生所需要的平均比特数。


举例


假设现在有一个样本集中两个概率分布p,q,其中p为真实分布,q为非真实分布。假如,按照真实分布p来衡量识别一个样本所需要的编码长度的期望为:



45.png


但是,如果采用错误的分布q来表示来自真实分布p的平均编码长度,则应该是:


46.png


此时就将H(p,q)称之为交叉熵。交叉熵的计算方式如下:

47.png


以上内容来自交叉熵-百度百科


到这里自己有两个地方不明白:

  • 什么事真事分布与非真实分布?
  • 什么编码长度?
    要搞懂这些,还需要看一些信息论中的知识,于是乎找到这篇文章:
    信息论中的一些基本的知识
    静下心看吧:看完之后自己浮躁的心平静下来了
相关文章
|
SQL 存储 缓存
值得收藏!my.cnf配置文档详解
MySql对于开发人员来说应该都比较熟悉,不管是小白还是老码农应该都能熟练使用。但是要说到的各种参数的配置,我敢说大部分人并不是很熟悉,当我们需要优化mysql,改变某项参数的时候。还是要到处在网上查找,有点不方便。今天就把我所知道的MySql的配置文件my.cnf做一个简单的说明吧,注意,我总结的mysql是Linux环境下的。
值得收藏!my.cnf配置文档详解
|
Java Maven
SpringMVC常用Maven POM.xml依赖包片段
SpringMVC常用Maven POM.xml依赖包片段
|
机器学习/深度学习 人工智能 自然语言处理
NLP实践!文本语法纠错模型实战,搭建你的贴身语法修改小助手 ⛵
本文详细介绍 GECToR 这一优秀的文本纠错模型,使用 Transformer 编码器的序列标注器,以保证文本数据的质量,进而提升NLP模型的效果。
2001 6
NLP实践!文本语法纠错模型实战,搭建你的贴身语法修改小助手 ⛵
java后端数据脱敏看这一篇就够了.
现在的项目中需要对展示的数据进行脱敏处理,类似的场景很常见,比如说展示的手机号、银行卡、用户姓名等全部用***这类的特殊字符进行代替。
java后端数据脱敏看这一篇就够了.
|
机器学习/深度学习 存储 并行计算
深度学习基础——PyTorch简介和Tensor张量详解
PyTorch具有悠久的历史,它的前身 Torch 是用Lua写的机器学习框架,后来受到 Facebook、NVIDIA (著名显卡生产厂商)、Uber 等大公司以及斯坦福大学、卡内基梅隆大学等著名高校的支持。下面,就让我们走进PyTorch的世界。
394 0
深度学习基础——PyTorch简介和Tensor张量详解
|
JavaScript API 开发者
uni-app开发常用操作速查记录
记录一下uni-app中常用的使用方法或是操作步骤,方便后期速查使用.
uni-app开发常用操作速查记录
|
SQL 机器学习/深度学习 存储
最新最全的Explain使用手册
最新最全的Explain使用手册
352 0
最新最全的Explain使用手册
|
存储 小程序 数据库
手把手教学,从零到一打造一款专属的情侣小程序
很久之前就想做个情侣小程序来记录我们之间的一些事情,偶然翻开一年前自己制作的一个小程序(未完成版),虽然代码下的有点乱,但感觉可以重构一下,在此给大家展示一下,也希望在设计和功能上,大家可以给点意见,后续有空再进行完善。
1435 0
手把手教学,从零到一打造一款专属的情侣小程序
|
编解码 算法 计算机视觉
Python opencv图像处理基础总结(六) 直线检测 圆检测 轮廓发现
我还有改变的可能性 一想起这一点 我就心潮澎湃
1165 0
Python opencv图像处理基础总结(六) 直线检测 圆检测 轮廓发现

热门文章

最新文章