实上,Transformer的适应性如此之强,神经科学家已经开始用基于Transformer的网络对人脑功能进行建模。这表明人工智能和人类智能之间,或许是一体同源的。
Top3:破解后量子加密算法
量子计算的出现,让很多原本需要消耗超大计算量的问题都得到了解决,而经典加密算法的安全性也因此受到了威胁。于是,学界便提出了后量子密码的概念,来抵抗量子计算机的破解。作为备受期待的加密算法,SIKE(Supersingular Isogeny Key Encapsulation)是一种利用椭圆曲线作为定理的加密算法。然而就在今年7月,两位来自比利时鲁汶大学的研究人员发现,这个算法可以在短短1个小时内,用一台10年「高龄」的台式计算机被成功破解。值得注意的是,研究人员从纯数学的角度来解决这个问题,攻击算法设计的核心,而不是任何潜在的代码漏洞。
论文地址:https://eprint.iacr.org/2022/975对此,研究人员表示,只有当你能证明「单向函数」的存在时,才有可能创建一个可证明的安全代码,也就是一个永远不可能失败的代码。虽然现在仍然不知道它们是否存在,但研究人员认为,这个问题等同于另一个叫做Kolmogorov复杂性的问题。只有当某一版本的Kolmogorov复杂性难以计算时,单向函数和真正的密码学才有可能。
Top4:用AI训练AI
近年来,人工神经网络的模式识别技能,为人工智能领域注入了活力。但在一个网络开始工作之前,研究人员必须首先训练它。这个训练过程可能会持续数月,需要大量数据,在这个过程中,需要对潜在的数十亿个参数进行微调。现在,研究人员有了一个新的想法——让机器替他们来做这件事。这种新型「超网络」叫做GHN-2,它能够处理和吐出其他网络。
论文链接:https://arxiv.org/abs/2110.13100它的速度很快,能够分析任何指定的网络,并迅速提供一组参数值,这些参数值和以传统方式训练的网络中的参数,一样有效。尽管GHN-2提供的参数可能不是最佳的,但它仍然提供了一个更理想的起点,减少了全面训练所需的时间和数据。通过在给定的图像数据集和我们的DEEPNETS-1M架构数据集上预测的参数进行反向传播训练今年夏天,Quanta杂志还研究了另一种帮助机器学习的新方法——具身人工智能。它允许算法从响应迅速的三维环境中学习,而不是通过静态图像或抽象数据。无论是探索模拟世界的代理,还是真实世界中的机器人,这些系统拥有从根本上不同的学习方式,而且在许多情况下,这些方式比使用传统方法训练的系统更好。
Top5:算法的改进
提高基础计算算法的效率一直都是学界热点,因为它会影响大量计算的整体速度,从而对智能计算领域产生多米诺骨牌式的效应。今年10月,DeepMind团队在发表于Nature上的论文中,提出了第一个用于为矩阵乘法等基本计算任务发现新颖、高效、正确算法的AI系统——AlphaTensor。它的出现,为一个50年来的悬而未决的数学问题找到了新答案:找到两个矩阵相乘的最快方法。矩阵乘法,作为矩阵变换的基础运算之一,是是许多计算任务的核心组成部分。其中涵盖了计算机图形、数字通信、神经网络训练和科学计算等等,而AlphaTensor发现的算法可以使这些领域的计算效率大大提升。
论文地址:https://www.nature.com/articles/s41586-022-05172-4今年3月,由六位计算机科学家组成的团队提出了一种「快得离谱」的算法,让计算机最古老的「最大流问题」获得了突破性的进展。新算法可在「几乎线性」的时间内解决这个问题,也就是说,其运行时间基本与记录网络细节所需的时间正比。
论文地址:https://arxiv.org/abs/2203.00671v2最大流问题是一种组合最优化问题,讨论的是如何充分利用装置的能力使得运输的流量最大,进而取得最好的效果。在日常生活中,它在很多方面都有应用,如互联网数据流、航空公司调度,甚至包含将求职者与空缺职位进行匹配等等。作为论文的作者之一,来自耶鲁大学的Daniel Spielman表示,「我原本坚信,这个问题不可能存在如此高效的算法。」
Top6:分享信息的新途径
普林斯顿大学的理论计算机科学家Mark Braverman,花了一生中超过四分之一的时间,来研究交互式通信的新理论。他的工作使研究人员能够对「信息」和「知识」等术语进行量化,这不仅使人们在理论上对互动有了更多的了解,而且还创造了新的技术,使交流更加高效和准确。Braverman最喜欢在办公室的沙发上思考量化的难题由于他的这一成就,以及其他成果,国际数学联盟今年7月授予Braverman IMU Abacus奖章,这是理论计算机科学领域的最高荣誉之一。IMU的颁奖词指出,Braverman对信息复杂性的贡献,使人们更深入地了解了当两方相互沟通时,信息成本的不同衡量标准。他的工作为不易受传输错误影响的新编码策略,以及在传输和操作过程中压缩数据的新方法,铺平了道路。信息复杂性问题,来自于Claude Shannon的开拓性工作——在1948年,他为一个人通过通道向另一个人发送消息,制定了数学框架。而Braverman最大的贡献在于,建立了一个广泛的框架,该框架阐明了描述交互式通信边界的通用规则——这些规则提出了在通过算法在线发送数据时,压缩和保护数据的新策略。
论文地址:https://arxiv.org/abs/1106.3595「交互式压缩」问题可以这么理解:如果两个人交换一百万条短信,但只学习1,000位信息,交换是否可以压缩为1,000位守恒?Braverman和Rao的研究表明,答案是否定的。而Braverman不仅破解了这些问题,他还引入了一种新的视角,使研究人员能够首先阐明它们,然后将它们翻译成数学的正式语言。他的理论为探索这些问题和确定可能出现在未来技术中的新通信协议,奠定了基础。参考资料:https://www.quantamagazine.org/the-biggest-discoveries-in-computer-science-in-2022-20221221/https://mp.weixin.qq.com/s/ALpgkM6jg_-xA8UYg0O5GA