图如何双曲建模?弗吉尼亚理工Amazon最新WWW2022「双曲神经网络:理论、架构和应用」教程

简介: 图如何双曲建模?弗吉尼亚理工Amazon最新WWW2022「双曲神经网络:理论、架构和应用」教程

【新智元导读】TheWebConf即将召开,来自弗吉亚理工和亚马逊等学者的《双曲神经网络》教程,值得关注!


TheWebConf是中国计算机学会(CCF)推荐的A类国际学术会议,由国际万维网会议委员会(IW3C2)和主办地地方团队合作组织,每年召开一次,今年是第31届会议,本年度论文录用率为17.7%,



图是普遍存在的数据结构,广泛应用于许多数据存储场景,包括社交网络、推荐系统、知识图谱和电子商务。这导致了GNN架构的兴起,用于分析和编码来自图的信息,以便在下游任务中获得更好的性能。


虽然图分析领域的初步研究是由神经结构驱动的,但最近的研究已经揭示了图数据集特有的重要属性,如层次结构和全局结构。这推动了对双曲空间的研究,因为它们能够有效地编码图数据集中存在的固有层次。


随后,该研究也被应用到其他领域,如自然语言处理和计算机视觉,取得了令人惊叹的结果。然而,进一步发展的主要挑战是双曲网络的晦涩,以及更好地理解必要的代数操作,以扩大应用到不同的神经网络结构。


在本教程中,我们的目标是向网络领域的研究人员和实践者介绍欧几里得运算的双曲等变,这是处理它们在神经网络架构中的应用所必需的。


此外,我们描述了GNN架构的流行双曲线变体,如递归网络、卷积网络和注意力网络,并解释了它们的实现,而不是欧几里得网络。


此外,我们还通过图分析、知识图谱推理、产品搜索、NLP和计算机视觉等领域的现有应用来激发我们的教程,并将性能提高与欧几里得的同类方法进行比较。


演讲内容



专知

,赞10


目录


结构


讲者介绍



Nurendra Choudhary是弗吉尼亚理工大学计算机科学系的博士生,在导师Chandan Reddy博士的指导下,他的研究重点是图分析和产品搜索领域的表示学习。


他在WWW、NeurIPS、WSDM和COLING等顶级会议上发表相关论文。他获得了国际信息技术学院计算语言学硕士学位,期间他获得了2018年CICLING的最佳论文奖。



Nikhil Rao是亚马逊的一名高级科学家,他在那里从事大规模图建模和算法的研究,以改进亚马逊搜索。在加入亚马逊之前,他是帕洛阿尔托Technicolor AI Labs的研究员。


Nikhil的研究兴趣和专长包括大规模优化、数据建模和挖掘,以及开发利用数据结构的算法。Nikhil在顶级会议和期刊上发表了几篇论文。他获得了来自UT Austin的ICES博士后奖学金和IEEE最佳学生论文奖。他拥有UW Madison的电气和计算机工程博士学位。



Karthik Subbian是亚马逊的首席科学家,拥有超过17年的行业经验。他领导着一个由科学家和工程师组成的团队来提高搜索质量和信任度。


在亚马逊,他领导了一个由科学家和工程师组成的团队,利用社交网络结构及其交互来探索信息传播和用户建模问题。此前,他在IBM T.J. Watson研究中心的商业分析和数学科学部门工作,是Facebook的一名研究科学家和负责人。


他的专业领域包括机器学习、信息检索和大规模网络分析。更具体地说,网络中的半监督和监督学习、个性化和推荐、信息扩散和表示学习。他拥有印度科学研究所(IISc)的硕士学位和明尼苏达大学的博士学位,都是计算机科学专业。


Karthik获得了许多著名奖项,包括IBM博士奖学金、2013年SIAM数据挖掘(SDM)会议的最佳论文奖和2013年INFORMS Edelman桂冠奖。


教程节选



参考资料:

[1]Code Library: GraphZoo: Facilitating learning, using, and designing graph processing pipelines/models systematically.

[2]Choudhary, N., Rao, N., Katariya, S., Subbian, K., & Reddy, C. K. (2022, February). ANTHEM: Attentive Hyperbolic Entity Model for Product Search. In Proceedings of the International Conference on Web Search and Data Mining 2022. (pdf)

[3]Choudhary, N., Rao, N., Katariya, S., Subbian, K., & Reddy, C. (2021). Probabilistic Entity Representation Model for Reasoning over Knowledge Graphs. Advances in Neural Information Processing Systems, 34. (pdf)

[4]Choudhary, N., Rao, N., Katariya, S., Subbian, K., & Reddy, C. K. (2021, April). Self-Supervised Hyperboloid Representations from Logical Queries over Knowledge Graphs. In Proceedings of the Web Conference 2021 (pp. 1373-1384). (pdf)

[5]Chami, I., Ying, Z., Ré, C., & Leskovec, J. (2019). Hyperbolic graph convolutional neural networks. Advances in neural information processing systems, 32, 4868-4879. (pdf) Ganea, O. E., Bécigneul, G., & Hofmann, T. (2018). Hyperbolic neural networks. Advances in neural information processing systems, 5345-5355. (pdf) Shimizu, R., Mukuta, Y., & Harada, T. (2021). Hyperbolic neural networks++. Interna

相关文章
|
4天前
|
机器学习/深度学习 网络架构
揭示Transformer重要缺陷!北大提出傅里叶分析神经网络FAN,填补周期性特征建模缺陷
近年来,神经网络在MLP和Transformer等模型上取得显著进展,但在处理周期性特征时存在缺陷。北京大学提出傅里叶分析网络(FAN),基于傅里叶分析建模周期性现象。FAN具有更少的参数、更好的周期性建模能力和广泛的应用范围,在符号公式表示、时间序列预测和语言建模等任务中表现出色。实验表明,FAN能更好地理解周期性特征,超越现有模型。论文链接:https://arxiv.org/pdf/2410.02675.pdf
88 68
|
3月前
|
机器学习/深度学习 数据采集 存储
时间序列预测新突破:深入解析循环神经网络(RNN)在金融数据分析中的应用
【10月更文挑战第7天】时间序列预测是数据科学领域的一个重要课题,特别是在金融行业中。准确的时间序列预测能够帮助投资者做出更明智的决策,比如股票价格预测、汇率变动预测等。近年来,随着深度学习技术的发展,尤其是循环神经网络(Recurrent Neural Networks, RNNs)及其变体如长短期记忆网络(LSTM)和门控循环单元(GRU),在处理时间序列数据方面展现出了巨大的潜力。本文将探讨RNN的基本概念,并通过具体的代码示例展示如何使用这些模型来进行金融数据分析。
431 2
|
3月前
|
机器学习/深度学习 人工智能 算法框架/工具
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【10月更文挑战第7天】本文将深入探讨卷积神经网络(CNN)的基本原理,以及它如何在图像识别领域中大放异彩。我们将从CNN的核心组件出发,逐步解析其工作原理,并通过一个实际的代码示例,展示如何利用Python和深度学习框架实现一个简单的图像分类模型。文章旨在为初学者提供一个清晰的入门路径,同时为有经验的开发者提供一些深入理解的视角。
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的卷积神经网络(CNN)及其应用
【9月更文挑战第24天】本文将深入探讨深度学习中的一种重要模型——卷积神经网络(CNN)。我们将通过简单的代码示例,了解CNN的工作原理和应用场景。无论你是初学者还是有经验的开发者,这篇文章都将为你提供有价值的信息。
142 1
|
2月前
|
机器学习/深度学习 运维 安全
图神经网络在欺诈检测与蛋白质功能预测中的应用概述
金融交易网络与蛋白质结构的共同特点是它们无法通过简单的欧几里得空间模型来准确描述,而是需要复杂的图结构来捕捉实体间的交互模式。传统深度学习方法在处理这类数据时效果不佳,图神经网络(GNNs)因此成为解决此类问题的关键技术。GNNs通过消息传递机制,能有效提取图结构中的深层特征,适用于欺诈检测和蛋白质功能预测等复杂网络建模任务。
81 2
图神经网络在欺诈检测与蛋白质功能预测中的应用概述
|
2月前
|
机器学习/深度学习 自然语言处理 语音技术
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
69 8
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
探索深度学习中的卷积神经网络(CNN)及其在现代应用中的革新
探索深度学习中的卷积神经网络(CNN)及其在现代应用中的革新
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
本文旨在通过深入浅出的方式,为读者揭示卷积神经网络(CNN)的神秘面纱,并展示其在图像识别领域的实际应用。我们将从CNN的基本概念出发,逐步深入到网络结构、工作原理以及训练过程,最后通过一个实际的代码示例,带领读者体验CNN的强大功能。无论你是深度学习的初学者,还是希望进一步了解CNN的专业人士,这篇文章都将为你提供有价值的信息和启发。
|
2月前
|
机器学习/深度学习 数据采集 算法
机器学习在医疗诊断中的前沿应用,包括神经网络、决策树和支持向量机等方法,及其在医学影像、疾病预测和基因数据分析中的具体应用
医疗诊断是医学的核心,其准确性和效率至关重要。本文探讨了机器学习在医疗诊断中的前沿应用,包括神经网络、决策树和支持向量机等方法,及其在医学影像、疾病预测和基因数据分析中的具体应用。文章还讨论了Python在构建机器学习模型中的作用,面临的挑战及应对策略,并展望了未来的发展趋势。
147 1
|
2月前
|
机器学习/深度学习 人工智能 算法框架/工具
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【10月更文挑战第36天】探索卷积神经网络(CNN)的神秘面纱,揭示其在图像识别领域的威力。本文将带你了解CNN的核心概念,并通过实际代码示例,展示如何构建和训练一个简单的CNN模型。无论你是深度学习的初学者还是希望深化理解,这篇文章都将为你提供有价值的见解。

热门文章

最新文章