【哥伦比亚大学博士论文】深度概率图建模,147页pdf阐述深度学习与主题模型结合

简介: 现实中,概率图建模(PGM)往往缺乏灵活性,而深度学习虽然强大,但缺乏PGM的可解释性和校准性。本文研究了深度概率图建模(DPGM)。DPGM通过利用DL使PGM更加灵活。

概率图建模(PGM)提供了一个框架,以设计一个可解释的生成过程的数据和表达不确定性的未知数。这使得PGM对于理解数据背后的现象和决策非常有用。


在可解释推理是关键的领域内,PGM取得了巨大的成功,例如市场营销、医学、神经科学和社会科学。


然而,PGM往往缺乏灵活性,这阻碍了它在建模大规模高维复杂数据和执行需要灵活性的任务(例如在视觉和语言应用程序中)时的使用。


深度学习(DL)是另一个从数据中建模和学习的框架,近年来取得了巨大的成功。DL功能强大,具有很大的灵活性,但缺乏PGM的可解释性和校准性。


本文研究了深度概率图建模(DPGM)。DPGM通过利用DL使PGM更加灵活。DPGM带来了从数据中学习的新方法,这些方法展示了PGM和DL的优点。

40.jpg我们在PGM中使用DL来构建具有可解释潜在结构的灵活模型。


我们提出一系列模型扩展指数族主成分分析(EF-PCA),使用神经网络提高预测性能,同时加强潜在因素的可解释性。


我们引入的另一个模型类支持在建模顺序数据时考虑长期依赖关系,这在使用纯DL或PGM方法时是一个挑战。


该序列数据模型类已成功应用于语言建模、情感分析的无监督文档表示学习、会话建模和医院再入院预测的患者表示学习。


最后,DPGM成功地解决了概率主题模型的几个突出问题。


在PGM中利用DL也带来了学习复杂数据的新算法。例如,我们开发了熵正则化对抗学习,这是一种与PGM中使用的传统最大似然方法不同的学习范式。


从DL的角度来看,熵正则化对抗学习为生成式对抗网络长期存在的模式崩溃问题提供了一种解决方案。

41.jpg

相关文章
|
5月前
|
API 数据库 对象存储
ModelScope有的论文可以找到,有的找不到,上传空间不能上传PDF
ModelScope有的论文可以找到,有的找不到,上传空间不能上传PDF
56 3
|
5月前
|
机器学习/深度学习 自然语言处理 数据挖掘
【论文精读】TNNLS 2022 - 基于深度学习的事件抽取研究综述
【论文精读】TNNLS 2022 - 基于深度学习的事件抽取研究综述
|
4天前
|
机器学习/深度学习 自然语言处理 算法
深度学习-生成式检索-论文速读-2024-09-14(下)
深度学习-生成式检索-论文速读-2024-09-14(下)
15 0
|
4天前
|
机器学习/深度学习 存储 自然语言处理
深度学习-生成式检索-论文速读-2024-09-14(上)
深度学习-生成式检索-论文速读-2024-09-14(上)
10 0
|
4天前
|
机器学习/深度学习 搜索推荐 算法
深度学习-点击率预估-研究论文2024-09-14速读
深度学习-点击率预估-研究论文2024-09-14速读
15 0
|
3月前
|
机器学习/深度学习 PyTorch 算法框架/工具
图神经网络是一类用于处理图结构数据的神经网络。与传统的深度学习模型(如卷积神经网络CNN和循环神经网络RNN)不同,
图神经网络是一类用于处理图结构数据的神经网络。与传统的深度学习模型(如卷积神经网络CNN和循环神经网络RNN)不同,
|
4月前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现深度学习模型:图神经网络(GNN)
使用Python实现深度学习模型:图神经网络(GNN)
200 1
|
机器学习/深度学习 数据挖掘 语音技术
基于对数谱图的深度学习心音分类
这是一篇很有意思的论文,他基于心音信号的对数谱图,提出了两种心率音分类模型,我们都知道:频谱图在语音识别上是广泛应用的,这篇论文将心音信号作为语音信号处理,并且得到了很好的效果。
103 1
|
5月前
|
机器学习/深度学习 编解码 人工智能
2024年2月深度学习的论文推荐
我们这篇文章将推荐2月份发布的10篇深度学习的论文
129 1
|
机器学习/深度学习 自然语言处理 算法
【论文精读】TNNLS 2022 - 基于深度学习的事件抽取研究综述
事件抽取是从海量文本数据中快速获取事件信息的一项重要研究任务。随着深度学习的快速发展,基于深度学习技术的事件抽取已成为研究热点。文献中提出了许多方法、数据集和评估指标,这增加全面更新调研的需求。
566 0