• 香农说,要有熵。信息时代由此开启……

    南加州大学(University of Southern California)电子工程系教授巴特·嗑死磕(Bart Kosko)说:爱因斯坦相对论之革命性在于它颠覆了之前的牛顿力学,而香农信息论之革命性在于它前无古人—— 香农对信息的认知开...
    文章 2017-05-02 2306浏览量
  • 量子的安全笑话

    从理论上说,信息论之父香农博士,于1948年,在其著名论文《保密系统的通信理论》中,确实证明过:如果密钥流序列是绝对随机的,那么,“1次1密”的密码系统是理论上不可破。这也是人类至今知道的,唯一“绝对安全”...
    文章 2018-05-03 1229浏览量
  • 号称“绝对安全”的量子通信到底是什么?

    事实上,OTP的绝对安全性已经由信息论之父克劳德·香农于1941年在数学上进行了完美而严格的证明,不存在任何可能性能够在不知道密钥的情况下破解OTP。那么问题来了,为什么在100年之后的今天,我们还没有上OTP呢?...
    文章 2018-05-15 1223浏览量
  • 从图灵机、图灵测试到人工智能:什么决定了AI能否取代...

    《Cloud Foundry:从数字化战略到实现》一书的第1章曾回顾香农信息论为代表的数字世界的崛起。我们谈到了冯·诺伊曼为何建议香农在他的信息论中采用物理学中熵的概念,但是我们并没有仔细讨论后面的哲学,这里可以再...
    文章 2019-09-21 872浏览量
  • Recommender Systems协同过滤

    1.信息:是用来消除不确定性的度量,信息量的大小,由所消除的不确定性的大小来计量(香农)。2.由于不确定性是由随机性引起的,所以概率来描述和计量;熵entropy:源于热力学,是分子混乱程度的度量。3.X(离散型...
    文章 2015-05-14 837浏览量
  • 6月份值得一看的 Java 技术干货!

    说信息量大,是因为其中的内容上下数千年(上迄文字的发明,中到香农信息论,下至现在互联网上的Google和 Wikipedia)、纵览各个学科(不仅有信息科学,更有语言学、逻辑学、数学、物理学、遗传学、量子理论等) ...
    文章 2018-07-04 1920浏览量
  • 北大计算机系黄铁军CCF-ADL讲习班上篇:从计算机发展...

    他们当时就在考虑,一群神经元如何形成概念,我们今天的深度学习也形不成概念,还有第五个问题,一个智能怎么能自我提升,现在深度学习靠大数据训练,一定程度上可以提升的,只要你数据,我的智能就会产生就会自动...
    文章 2017-11-09 1211浏览量
  • 最大熵模型总结

    信息论的开创者香农认为,信息(知识)是人们对事物了解的不确定性的消除或减少。他把不确定的程度称为信息熵。设随机变量ξ,他有A1、A2….An共n个不同的结果,每个结果出现的概率为p1,p2….pn,那么ξ的不确定度...
    文章 2017-02-06 2031浏览量
  • 机器学习决策树ID3算法,手把手教你Python实现

    信息熵出自大名鼎鼎的信息学巨著《信息论》,它的作者就是赫赫有名的香农。但是这个词并不是香农原创,据说是计算机之父冯诺依曼取的,他去这个名字的含义也很简单,因为大家都不明白这个词究竟是什么意思。之前我们...
    文章 2020-05-22 630浏览量
  • Yann LeCun说是时候放弃概率了,因果关系才是理解...

    然而如果你掌握了关于这一扰动机制的输入的信息,那会怎么样呢?你能利用所生成的分布预测输入吗?答案显然是yes!一篇新的论文研究了显著性方法(saliency method)的不可靠性。在深度学习网络中,显著性用于强调对...
    文章 2017-11-15 2185浏览量
  • 一文读懂:量子通讯

    20世纪开始进入了熵(Entropy)的世纪,信息技术,计算机等得到了极大的发展,摩尔定律,香农定律等得到了极大的应用。进入21世纪开始进入纠缠(Entangle)的世纪,量子纠缠不仅在基础研究更在实际应用得到了极大的...
    文章 2018-05-16 1070浏览量
  • 安筱鹏:拥抱“数据+算法”定义的新世界

    最后我们大家熟悉的,从信息论来看,信息是干什么的,克劳德·香农定义“信息是用来减少随机不确定性的东西,信息的价值是确定性的增加”,信息最重要就是要减少不确定性而增加确定性。什么是企业?企业的本质是什么...
    文章 2018-12-03 2131浏览量
  • 大数据背后的神秘公式(下):“贝叶斯革命”

    其实早在几十年前,数学家兼信息论的祖师爷香农(Claude Shannon)就提出了数学方法处理自然语言的想法。遗憾的是当时的计算机根本无法满足大量信息处理的需要,所以他的这一想法并没有引起重视。率先成功利用数学...
    文章 2017-05-02 1188浏览量
  • 如何成为一名优秀的量子物理民科

    你科普完了EPR佯谬及量子纠缠,或许还有人不能理解为什么超光速和超距作用为什么不违背相对,也就是这个粒子A已经被观测了的信息怎么从量子A超越光速传递到粒子B的。你可以高傲地告诉他们,答案是并没有信息的...
    文章 2018-05-03 636浏览量
  • 电子科大周涛教授:当时代发生巨变,一定要站在能够...

    说明一下,这里我们之所以真实熵,而不是香农熵或者Simpson熵,是因为我们不仅要看分布的集中性,还要看分布是否有顺序(例如吃饭,最好是早、中、晚餐都有,而没有间断)。真实熵是可以看到序列的规律性。这张图...
    文章 2017-10-24 908浏览量
  • 带你读《Greenplum:从大数据战略到实现》之一:ABC:...

    当一个学生被录取,系统就需要记录这样一个事务,为此需要创建(Create)一条学生记录,记录学生的一些信息,例如身份证号、性别、年龄、籍贯和录取分数等。当该名学生到学校报到的时候,我们可能需要更新(Update)...
    文章 2019-11-14 612浏览量
  • 马文·明斯基:一颗人工智能巨星的陨落

    我就说:“我认为这个计算机实际上应该只是由许多小黑盒子组成,因为计算机需要通过引线来传递信息以知道它里面在做什么。于是他把原来的装饰撤掉,设计了一个简单的、看上去更漂亮的“HAL9000”计算机。库布里克...
    文章 2017-05-02 1664浏览量
  • 建模原语:四象图

    碰触Web,与接触TCP/IP协议栈、信号与系统、香农信息论、机器学习一样,都令我感到震撼,开阔了原有的视野。架构风格的设计与实现,我也是个在不断学习的初学者。之所以列出这个课题,是因为我觉得其非常重要,不...
    文章 2016-05-27 1803浏览量
  • 带你读《计算机网络问题与解决方案:一种构建弹性现代...

    这种以物理载体来表示信息的原理基于克劳德·香农(Claude Shannon)的信息论,不在本书的讨论范围之内;“拓展阅读”将为感兴趣的读者提供进一步的阅读资料。将物理符号转换成第一层逻辑内容中信息单元的符号表示。...
    文章 2019-11-07 628浏览量
  • 周志华:人工智能研究最主要是靠人的聪明才智

    这个会议的参加者包括后来的图领奖得主麦卡锡、闵斯基和信息论之父香农等人。会议发起人麦卡锡提议以“人工智能”作为该学科的名称。因此麦卡锡被尊为“人工智能之父”。从那时起,如果以主流人工智能学界的关注重点...
    文章 2018-06-04 1114浏览量
  • 还在PCA降维?快学学大牛最爱的t-SNE算法吧(附...

    所以在二维的圆上想尽可能表达出三维里的点的信息,把由于投影所重合的点不同的距离(差别很小)表示,这样就会占用原来在那些距离上的点,原来那些点会被赶到更远一点的地方。t分布是长尾的,意味着距离更远的点...
    文章 2018-01-22 5788浏览量
  • 5G的7大用途,你知道几个?

    记得在研究生的一门课程《信息论》中严格推导过这个公式,这个定理的公式指明了与通信速率相关的要素,极限值在哪里。在有随机热噪声的信道上传输数据信号时,信道容量Rmax与信道带宽W,信噪比S/N关系为:Rmax=W*log...
    文章 2019-12-04 2135浏览量
  • Linux如何实现镜像端口

    这个可以从香农信息论中得到证明。xt_TEE的实现 在xtables-addons中,已经有了一个xt_TEE的实现,在其manual中,有一个一目了然的配置:t mangle-A PREROUTING-i eth0-j TEE-gateway 2001:db8:1即将数据包克隆一份...
    文章 2017-11-12 975浏览量
  • 面向机器学习的自然语言标注.

    本书写给所有对计算机研究自然语言所传递的信息内容感兴趣的人。阅读本书,并不要求具有编程或语言学背景,但若对脚本语言(如Python)有基本的理解将更易于理解MATTER循环,因为书中的一些示例代码是Python写的...
    文章 2017-05-02 11375浏览量

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化