AI大事件 | Geoffrey Hinton决定抛弃反向传播,预期策略梯度算法

简介: 本周的AI大事件:Facebook人工智能研究登陆蒙特利尔;Sophia Genetics筹集了3000万美元帮助医生使用人工智能和基因组数据进行诊断;Geoffrey Hinton决定抛弃反向传播


image

呜啦啦啦啦啦大家好呀,又到了本周的AI大事件时间了。过去的一周中AI圈都发生了什么?大佬们互撕了哪些问题?研究者们发布了哪些值得一读的论文?又有哪些开源的代码和数据库可以使用了?文摘菌带你盘点过去一周AI大事件!

了解过去一周AI爆点,一篇就够啦!

新闻
Geoffrey Hinton决定抛弃反向传播
来源:WWW.AXIOS.COM
链接:https://www.axios.com/ai-pioneer-advocates-starting-over-2485537027.html?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
现在几乎所有神经网络都会经过反向传播的训练。然而在最近的一次采访中,Hinton,深度学习之父却表示,他将“抛开一切重新开始”。要想在深度学习上向前推进,就必须发明全新的方法。

Facebook人工智能研究登陆蒙特利尔
来源:NEWSROOM.FB.COM
链接:https://newsroom.fb.com/news/2017/09/fair-montreal/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
作为Facebook的人工智能研究的一部分(FAIR),这个新的团队将由超过100名来自门洛帕克、纽约和巴黎的科学家组成,他们将努力推进人工智能领域的研究。
蒙特利尔实验室将对AI领域进行广泛的研究,但它也将特别关注强化学习和对话系统。

Sophia Genetics筹集了3000万美元帮助医生使用人工智能和基因组数据进行诊断
来源:VENTUREBEAT.COM
链接:https://venturebeat.com/2017/09/13/sophia-genetics-raises-30-million-to-help-doctors-diagnose-using-ai-and-genomic-data-analysis/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
9月13日消息,瑞士医疗数据分析公司Sophia Genetics宣布完成3000万美元D轮融资,Balderton Capital领投,Alychlo、Invoke Capital Partners、360 Capital Partners等跟投。

Sophia Genetics成立于2011年,是一家遗传信息数据分析公司,专注于通过人工智能找出患者基因突变原理,并结合专家意见提供个性化的治疗诊断方案。

文章&教程
学习其他代理想法的模型(OpenAI)
来源:BLOG.OPENAI.COM
链接:https://blog.openai.com/learning-to-model-other-minds/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
一种算法,它解释了其他代理也在学习的事实,并在迭代囚徒困境中发现了类似于针锋相对的合作策略。

AI健身房
来源:LEARNINGAI.IO
链接:https://learningai.io/projects/2017/07/28/ai-gym-workout.html?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
一个易于理解的近端策略优化( Proximal Policy Optimization)的介绍(PPO)并且能够很好的应对MuJoCo 和 RoboSchool 的环境。点击这里查看代码:https://github.com/pat-coady/trpo

使用强化学习达到最优化
来源:BAIR.BERKELEY.EDU
链接:http://bair.berkeley.edu/blog/2017/09/12/learning-to-optimize-with-rl/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
机器学习的算法仍然是人工设计的。这就引出了一个自然的问题:我们可以学习这些算法吗?

项目&数据
使用TensorBoard API完成自定义可视化
来源:RESEARCH.GOOGLEBLOG.COM
链接:https://research.googleblog.com/2017/09/build-your-own-machine-learning.html?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
为了让学习者能够使用新的和有用的可视化进行创作,谷歌公布了一组API,允许开发人员添加自定义的可视化插件到TensorBoard。

膨胀残留网络(Dilated Residual Network)的实现
来源:GITHUB.COM
链接:https://github.com/fyu/drn?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
基于膨胀卷积的多元内容集成和膨胀残留网络的官方PyTorch实现。

对TensorFlow数据集和估计机制(Estimators)的介绍
来源:DEVELOPERS.GOOGLEBLOG.COM
链接:https://developers.googleblog.com/2017/09/introducing-tensorflow-datasets.html?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
TensorFlow 1.3介绍了两个重要的特点:数据集和估计机制。这篇文章显示了他们如何适应TensorFlow架构。

数据集 | 一万本最受欢迎的书:一万本书,六百万次阅读
来源:GITHUB.COM
链接:https://github.com/zygmuntz/goodbooks-10k?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
该数据集包含了goodreads.com上一万本最受欢迎的书,其中最受欢迎的被阅读了六百万次。

爆款论文
针对工程师的机器学习简介
来源:ARXIV.ORG
链接:https://arxiv.org/abs/1709.02840?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
一个200页的“简短”的介绍。这项工作旨在介绍机器学习中的关键概念、算法和理论框架,包括监督和无监督学习、统计学习理论、概率图形模型和近似推理。

把所有东西都嵌入进去!
来源:ARXIV.ORG
链接:https://arxiv.org/abs/1709.03856?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
一个通用的神经嵌入模型,可以解决各种各样的问题:标签型任务,如文本分类;排序型任务,如信息检索、网络搜索、基于协同过滤和基于内容的推荐;多关系图的嵌入,并能够实现单词、句子或文档级的嵌入。在每种情况下,模型都是通过嵌入由离散特征组成的实体来实现的,并将对它们进行比较——学习依赖于任务的相似性。

预期策略梯度算法
来源:ARXIV.ORG
链接:https://arxiv.org/abs/1706.05374?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
预期策略梯度算法(EPG:Expected policy gradients)使强化学习中的随机策略梯度算法(SPG: stochastic policy gradients )和确定性策略梯度算法(DPG: deterministic policy gradients )达成了一致。这一算法的灵感来自于预期的SARSA算法,EPG在估计梯度的时候整合了整个操作,而不是仅仅依赖于采样轨迹。

原文发布时间为:2017-09-19
编译 | 宁云州
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

相关文章
|
4天前
|
机器学习/深度学习 人工智能 算法
FinRobot:开源的金融专业 AI Agent,提供市场预测、报告分析和交易策略等金融解决方案
FinRobot 是一个开源的 AI Agent 平台,专注于金融领域的应用,通过大型语言模型(LLMs)构建复杂的金融分析和决策工具,提供市场预测、文档分析和交易策略等多种功能。
49 13
FinRobot:开源的金融专业 AI Agent,提供市场预测、报告分析和交易策略等金融解决方案
|
5天前
|
机器学习/深度学习 人工智能 算法
Enhance-A-Video:上海 AI Lab 推出视频生成质量增强算法,显著提升 AI 视频生成的真实度和细节表现
Enhance-A-Video 是由上海人工智能实验室、新加坡国立大学和德克萨斯大学奥斯汀分校联合推出的视频生成质量增强算法,能够显著提升视频的对比度、清晰度和细节真实性。
27 8
Enhance-A-Video:上海 AI Lab 推出视频生成质量增强算法,显著提升 AI 视频生成的真实度和细节表现
|
28天前
|
存储 人工智能 算法
【AI系统】计算图的优化策略
本文深入探讨了计算图的优化策略,包括算子替换、数据类型转换、存储优化等,旨在提升模型性能和资源利用效率。特别介绍了Flash Attention算法,通过分块计算和重算策略优化Transformer模型的注意力机制,显著减少了内存访问次数,提升了计算效率。此外,文章还讨论了内存优化技术,如Inplace operation和Memory sharing,进一步减少内存消耗,提高计算性能。
96 34
【AI系统】计算图的优化策略
|
23天前
|
机器学习/深度学习 人工智能 并行计算
转载:【AI系统】AI轻量化与并行策略
本文探讨了AI计算模式对AI芯片设计的重要性,重点分析了轻量化网络模型和大模型分布式并行两大主题。轻量化网络模型通过减少模型参数量和计算量,实现在资源受限设备上的高效部署;大模型分布式并行则通过数据并行和模型并行技术,解决大模型训练中的算力和内存瓶颈,推动AI技术的进一步发展。
转载:【AI系统】AI轻量化与并行策略
|
28天前
|
机器学习/深度学习 缓存 人工智能
【AI系统】QNNPack 算法
QNNPACK是Marat Dukhan开发的量化神经网络计算加速库,专为移动端优化,性能卓越。本文介绍QNNPACK的实现,包括间接卷积算法、内存重排和间接缓冲区等关键技术,有效解决了传统Im2Col+GEMM方法存在的空间消耗大、缓存效率低等问题,显著提升了量化神经网络的计算效率。
37 6
【AI系统】QNNPack 算法
|
28天前
|
存储 人工智能 缓存
【AI系统】Im2Col 算法
Caffe 作为早期的 AI 框架,采用 Im2Col 方法优化卷积计算。Im2Col 将卷积操作转换为矩阵乘法,通过将输入数据重排为连续内存中的矩阵,减少内存访问次数,提高计算效率。该方法首先将输入图像转换为矩阵,然后利用 GEMM 库加速计算,最后将结果转换回原格式。这种方式显著提升了卷积计算的速度,尤其适用于通道数较多的卷积层。
50 5
【AI系统】Im2Col 算法
|
28天前
|
存储 机器学习/深度学习 人工智能
【AI系统】Winograd 算法
本文详细介绍Winograd优化算法,该算法通过增加加法操作来减少乘法操作,从而加速卷积计算。文章首先回顾Im2Col技术和空间组合优化,然后深入讲解Winograd算法原理及其在一维和二维卷积中的应用,最后讨论算法的局限性和实现步骤。Winograd算法在特定卷积参数下表现优异,但其应用范围受限。
33 2
【AI系统】Winograd 算法
|
16天前
|
人工智能 算法
AI+脱口秀,笑点能靠算法创造吗
脱口秀是一种通过幽默诙谐的语言、夸张的表情与动作引发观众笑声的表演艺术。每位演员独具风格,内容涵盖个人情感、家庭琐事及社会热点。尽管我尝试用AI生成脱口秀段子,但AI缺乏真实的情感共鸣和即兴创作能力,生成的内容显得不够自然生动,难以触及人心深处的笑点。例如,AI生成的段子虽然流畅,却少了那份不期而遇的惊喜和激情,无法真正打动观众。 简介:脱口秀是通过幽默语言和夸张表演引发笑声的艺术形式,AI生成的段子虽流畅但缺乏情感共鸣和即兴创作力,难以达到真人表演的效果。
|
18天前
|
机器学习/深度学习 人工智能 负载均衡
利用AI智能分析代理IP流量:提升网站性能的新策略
在数字时代,网站性能至关重要。代理IP技术广泛应用于突破地域限制、保护隐私和优化访问速度,但也带来了服务器负担加重和安全风险。AI智能分析代理IP流量成为有效策略,通过精准识别、动态调整和预测分析,提升网站性能和安全性。案例显示,某电商平台通过AI智能分析成功提升了访问速度和安全性,用户满意度显著提高。未来,AI技术将进一步优化代理IP应用,助力网站发展。
45 5
|
1月前
|
存储 人工智能 缓存
【AI系统】布局转换原理与算法
数据布局转换技术通过优化内存中数据的排布,提升程序执行效率,特别是对于缓存性能的影响显著。本文介绍了数据在内存中的排布方式,包括内存对齐、大小端存储等概念,并详细探讨了张量数据在内存中的排布,如行优先与列优先排布,以及在深度学习中常见的NCHW与NHWC两种数据布局方式。这些布局方式的选择直接影响到程序的性能,尤其是在GPU和CPU上的表现。此外,还讨论了连续与非连续张量的概念及其对性能的影响。
52 3

热门文章

最新文章