7 Papers & Radios | 联邦图机器学习综述;基于知识图谱和分子图的药物筛选模型(2)

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 7 Papers & Radios | 联邦图机器学习综述;基于知识图谱和分子图的药物筛选模型


论文 5:A Neural Network Solves, Explains, and Generates Universitymath Problems by Program Synthesis and Few-shot Learning Athuman Level


摘要:MIT 的学生可以不费吹灰之力就能解决多元微积分、微分方程、线性代数等数学课题,但这些却把机器学习模型给难倒了。因为机器学习模型只能回答小学或高中水平的数学问题,而且它们并不总是能找到正确答案。

MIT、哥伦比亚大学、哈佛大学和滑铁卢大学的研究者,他们使用小样本学习、OpenAI 的 Codex 来自动合成程序,在几秒钟内解决大学数学问题,达到了人类水平。这项研究发表在《美国国家科学院院刊》(PNAS)上。

该模型对生成的解决方案还能进行解释,并能快速生成新的大学数学问题。当研究人员向学生展示这些机器生成的问题时,学生们甚至无法判断这些问题是由算法生成的还是由人类生成的。这项研究还可以用来简化课程内容生成,这对拥有数千名学生的学校和大型开放式网络课程尤其有用。该系统还可以充当在线导师,向学生展示解决数学问题的步骤。

出自六门 MIT 课程的示例问题和解。

推荐:AI 几秒钟内解决大学数学问题,拿到 80% 多准确率,还充当出题老师。

论文 6:Perturbed and Strict Mean Teachers for Semi-supervised Semantic Segmentation


摘要:在本工作中,来自阿德莱德大学、乌鲁姆大学的研究者针对当前一致性学习出现的三个问题做了针对性的处理, 使得经典的 teacher-student 架构 (A.K.A Mean-Teacher) 在半监督图像切割任务上得到了显著的提升。该研究已被计算机视觉顶会 CVPR 2022 大会接收。

方法概览。

推荐:基于一致性的半监督语义分割方法:刷新多项 SOTA,还有更好泛化性。

论文 7:Collaboration Equilibrium in Federated Learning


摘要:联邦学习(federated learning,FL)是指在保护数据隐私的前提下实现分布式多数据源模型训练的学习范式。由于各个数据源的统计异质性在现实场景下广泛存在,同时统计异质性也给联邦学习下合作式的模型学习带来了负面影响,甚至会损害模型性能。因而,这也带来了一个基本问题:一个机构(client)加入合作网络能否获得增益,即参与合作是否意味着自身模型性能的提升。事实上,一个机构并非总是与所有机构合作才能带来自身性能的最大化。

清华大学三年级博士生崔森等人建立了联邦学习下的合作均衡理论,其中各个机构只与对其有利的机构合作,最大程度上避免负迁移的影响,从而实现自身模型性能的最大化。具体地,提出通过两个公理刻画合作均衡:自私原则:没有利益,就没有合作;理性原则:各个机构致力于最大化自身模型性能。他们还提出增益图(benefit graph)的概念,描述了每个机构的最优合作者,并提出了一种基于帕累托优化的方法确定最优合作者。最后在理论上证明了合作均衡的存在性,并提出了一种基于图论的方法,实现 O(V+E) 时间复杂度下的合作均衡。

算法 1:实现合作均衡。

推荐:从自私和理性原则的视角,看联邦学习下的合作均衡理论。


ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation,在 7 Papers 的基础上,精选本周更多重要论文,包括NLP、CV、ML领域各10篇精选,并提供音频形式的论文摘要简介,详情如下:



本周 10 篇 NLP 精选论文是:


1. Recognizing and Extracting Cybersecurtity-relevant Entities from Text.  (from Tim Finin)2. Unravelling Interlanguage Facts via Explainable Machine Learning.  (from Fabrizio Sebastiani)3. Smoothing Entailment Graphs with Language Models.  (from Mark Steedman)4. Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning.  (from Yossi Matias, Craig Boutilier)5. GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation.  (from Jian Yang, Haoyang Huang)6. Composable Text Control Operations in Latent Space with Ordinary Differential Equations.  (from Xiaodong He, Shuguang Cui)7. Building an Efficiency Pipeline: Commutativity and Cumulativeness of Efficiency Operators for Transformers.  (from Jimmy Lin)8. Improving Distantly Supervised Relation Extraction by Natural Language Inference.  (from Qi Li)9. What Can Transformers Learn In-Context? A Case Study of Simple Function Classes.  (from Percy Liang)10. Efficient Fine-Tuning of Compressed Language Models with Learners.  (from James J. Clark)


本周 10 篇 CV 精选论文是:1. Automatic dense annotation of large-vocabulary sign language videos.  (from Andrew Zisserman)2. TAG: Boosting Text-VQA via Text-aware Visual Question-answer Generation.  (from Larry S. Davis)3. Revisiting the Critical Factors of Augmentation-Invariant Representation Learning.  (from Xiangyu Zhang)4. Explicit Occlusion Reasoning for Multi-person 3D Human Pose Estimation.  (from Alan Yuille)5. Global-Local Self-Distillation for Visual Representation Learning.  (from Tinne Tuytelaars)6. High Dynamic Range and Super-Resolution from Raw Image Bursts.  (from Jean Ponce, Julien Mairal)7. Matching with AffNet based rectifications.  (from Jiří Matas)8. Vision-Centric BEV Perception: A Survey.  (from Yu Qiao, Ruigang Yang, Dinesh Manocha)9. Augmenting Vision Language Pretraining by Learning Codebook with Visual Semantics.  (from C.-C. Jay Kuo)10. Statistical Attention Localization (SAL): Methodology and Application to Object Classification.  (from C.-C. Jay Kuo)



本周 10 篇 ML 精选论文是:1. Flow Annealed Importance Sampling Bootstrap.  (from Bernhard Schölkopf)2. Boosted Off-Policy Learning.  (from Thorsten Joachims)3. Link Prediction on Heterophilic Graphs via Disentangled Representation Learning.  (from Charu Aggarwal)4. A Hybrid Complex-valued Neural Network Framework with Applications to Electroencephalogram (EEG).  (from Xiaogang Wang)5. Bayesian regularization of empirical MDPs.  (from Inderjit Dhillon)6. AdaCat: Adaptive Categorical Discretization for Autoregressive Models.  (from Pieter Abbeel)7. Semi-supervised Learning of Partial Differential Operators and Dynamical Flows.  (from Lior Wolf)8. Robust Graph Neural Networks using Weighted Graph Laplacian.  (from Sandeep Kumar)9. De-biased Representation Learning for Fairness with Unreliable Labels.  (from Yang Wang)10. Understanding the classes better with class-specific and rule-specific feature selection, and redundancy control in a fuzzy rule based framework.  (from Nikhil R. Pal)

目录
打赏
0
0
0
0
368
分享
相关文章
机器学习特征筛选:向后淘汰法原理与Python实现
向后淘汰法(Backward Elimination)是机器学习中一种重要的特征选择技术,通过系统性地移除对模型贡献较小的特征,以提高模型性能和可解释性。该方法从完整特征集出发,逐步剔除不重要的特征,最终保留最具影响力的变量子集。其优势包括提升模型简洁性和性能,减少过拟合,降低计算复杂度。然而,该方法在高维特征空间中计算成本较高,且可能陷入局部最优解。适用于线性回归、逻辑回归等统计学习模型。
90 7
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
本文探讨了数据基础设施设计中常见的一个问题:数据仓库或数据湖仓中的表格缺乏构建高性能机器学习模型所需的历史记录,导致模型性能受限。为解决这一问题,文章介绍了缓慢变化维度(SCD)技术,特别是Type II类型的应用。通过SCD,可以有效追踪维度表的历史变更,确保模型训练数据包含完整的时序信息,从而提升预测准确性。文章还从数据工程师、数据科学家和产品经理的不同视角提供了实施建议,强调历史数据追踪对提升模型性能和业务洞察的重要性,并建议采用渐进式策略逐步引入SCD设计模式。
179 8
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型
DeepSeek 系列模型以其卓越性能在全球范围内备受瞩目,多次评测中表现优异,性能接近甚至超越国际顶尖闭源模型(如OpenAI的GPT-4、Claude-3.5-Sonnet等)。企业用户和开发者可使用 PAI 平台一键部署 DeepSeek 系列模型,实现 DeepSeek 系列模型与现有业务的高效融合。
【新模型速递】PAI一键云上零门槛部署DeepSeek-V3-0324、Qwen2.5-VL-32B
PAI-Model Gallery 集成国内外 AI 开源社区中优质的预训练模型,涵盖了 LLM、AIGC、CV、NLP 等各个领域,用户可以通过 PAI 以零代码方式实现从训练到部署再到推理的全过程,获得更快、更高效、更便捷的 AI 开发和应用体验。 现阿里云PAI-Model Gallery已同步接入DeepSeek-V3-0324、Qwen2.5-VL-32B-Instruct两大新模型,提供企业级部署方案。
AI训练师入行指南(三):机器学习算法和模型架构选择
从淘金到雕琢,将原始数据炼成智能珠宝!本文带您走进数字珠宝工坊,用算法工具打磨数据金砂。从基础的经典算法到精密的深度学习模型,结合电商、医疗、金融等场景实战,手把手教您选择合适工具,打造价值连城的智能应用。掌握AutoML改装套件与模型蒸馏术,让复杂问题迎刃而解。握紧算法刻刀,为数字世界雕刻文明!
40 6
云上一键部署通义千问 QwQ-32B 模型,阿里云 PAI 最佳实践
3月6日阿里云发布并开源了全新推理模型通义千问 QwQ-32B,在一系列权威基准测试中,千问QwQ-32B模型表现异常出色,几乎完全超越了OpenAI-o1-mini,性能比肩Deepseek-R1,且部署成本大幅降低。并集成了与智能体 Agent 相关的能力,够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署 QwQ-32B,本实践带您部署体验专属 QwQ-32B模型服务。
DistilQwen2.5蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
DistilQwen2.5 是阿里云人工智能平台 PAI 推出的全新蒸馏大语言模型系列。通过黑盒化和白盒化蒸馏结合的自研蒸馏链路,DistilQwen2.5各个尺寸的模型在多个基准测试数据集上比原始 Qwen2.5 模型有明显效果提升。这一系列模型在移动设备、边缘计算等资源受限的环境中具有更高的性能,在较小参数规模下,显著降低了所需的计算资源和推理时长。阿里云的人工智能平台 PAI,作为一站式的机器学习和深度学习平台,对 DistilQwen2.5 模型系列提供了全面的技术支持。本文详细介绍在 PAI 平台使用 DistilQwen2.5 蒸馏小模型的全链路最佳实践。
云上一键部署 DeepSeek-V3 模型,阿里云 PAI-Model Gallery 最佳实践
本文介绍了如何在阿里云 PAI 平台上一键部署 DeepSeek-V3 模型,通过这一过程,用户能够轻松地利用 DeepSeek-V3 模型进行实时交互和 API 推理,从而加速 AI 应用的开发和部署。
基于机器学习的数据分析:PLC采集的生产数据预测设备故障模型
本文介绍如何利用Python和Scikit-learn构建基于PLC数据的设备故障预测模型。通过实时采集温度、振动、电流等参数,进行数据预处理和特征提取,选择合适的机器学习模型(如随机森林、XGBoost),并优化模型性能。文章还分享了边缘计算部署方案及常见问题排查,强调模型预测应结合定期维护,确保系统稳定运行。
120 0
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
560 13
机器学习算法的优化与改进:提升模型性能的策略与方法

热门文章

最新文章

相关产品

  • 人工智能平台 PAI
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等