谷歌推出Tangent开源库,在Python源代码上做自动微分

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/T4/G6 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
简介:
+关注继续查看
本文来自AI新媒体量子位(QbitAI)

谷歌今天推出了一个新的开源Python自动微分库:Tangent。

1fc603a49e434556fda9f1686ad6da495e153e56

和现有的机器学习库不同,Tangent是一个源代码到源代码的系统,使用Python函数f,并用一个新的Python函数来计算f的梯度。这能帮用户更好地看清梯度计算,并更简单地对梯度进行用户级编辑和调试。

此外,Tangent还有更多调试和设计机器学习模型的功能:

  • 轻松调试反向传递过程(backward pass)
  • 快速的gradient surgery
  • 正向模式自动微分
  • 高校的Hessian向量积
  • 代码优化

本文简要介绍了Tangent API,包括如何用它在Python中生成易于理解、调试和修改的梯度代码。

神经网络为机器学习带来了巨大的进步,而我们训练神经网络来完成各类任务的基本思想已经存在30年了,它就是反向模式自动微分(reverse-mode automatic differentiation),也就是我们常说的反向传播(backpropagation)。反向传播的过程包含两次通过神经网络:首先是运行“正向传递”来计算每个节点的输出值,然后再运行“反向传递”计算一系列导数,来确定如何更新权重以提高模型准确性。

训练神经网络、研究新架构,就需要我们正确、高效、方便地计算这些导数。当模型训练不好时,或者尝试构建我们不了解的新东西时,也需要能调试这些导数。自动微分(简称autodiff)就能够计算里表示某些数学函数的计算机程序的导数,而且几乎所有机器学习库都能实现它。

现有的机器学习库通过跟踪程序的执行(在运行时,比如TensorFlow Eager、PyTorch、Autograd),或者构建动态数据流图然后微分它(提前,比如TensorFlow)来实现自动微分。

Tangent采用了与它们都不同的方式,在Python源代码上提前执行自动微分,并生成Python源代码作为输出。

a5409e4341afeb5ad5565c7aede3bdd9eb821e38

于是,你可以像读取程序其他部分一样,来读取自动导数代码。

对于那些不仅想用Python来写模型,还想在不牺牲速度和灵活性的情况下来读取、调试自动生成的导数代码的研究人员和学生来说,Tangent非常有用。

检查和调试Tangent模型不需要特殊的工具,Tangent可以在Python庞大又不断增长的子集上工作,为其他Python机器学习库提供它们所没有的自动微分特性。它性能高,且与TensorFlow、NumPy兼容。

怎样自动为Python代码生成导数呢?

像tf.exp或tf.log这样的数学函数具有导数,我们可以编写出来构建反向传递,子例程、条件、循环等语法片段也同样具有反向传递版本。Tangent能为任何Python语法、以及很多Numpy和TensorFlow函数调用生成导数代码。

Tangent有一个单一功能API:

b89d450f0c5261ca0154ecb3d98d09dc3171ac0e

下面的动图展示了当我们在Python函数上调用tangent.grad时会发生什么:

3390dacb6c5bea7234e81bf54940c9fa58ee4831

如果你想列出自己的导数,可以运行:

3693904ba672c41afeef89e68e4c7637580eaf5d

对于Python语法的导数和TensorFlow Eager函数,Tangent有一个巨大的recipe库。tangent.grad会抓取你传递给它的Python函数源代码,然后反向遍历它,从自己的库中查找匹配的反向传递recipe,并把它加到导数函数的末尾。

这项技术的名字——反向模式自动微分——就来源于这种逆向处理。

上面的函数df只适用于张量(非数组)输入。Tangent也支持:

  • 用TensorFlow Eager函数来处理数组
  • 子例程
  • 控制流

谷歌在博客文章中强调,虽然Tangent从支持TensorFlow Eager开始,但它并不和某一个库绑定,他们也愿意接受添加PyTorch或者MXNet导数recipe的请求。

最后,附上Tangent开源项目地址,内有下载和安装说明:
http://github.com/google/tangent

博客原文:
https://research.googleblog.com/2017/11/tangent-source-to-source-debuggable.html


本文作者:李林
原文发布时间:2017-11-07
相关实践学习
PAI-EAS快速部署AI绘画Stable Diffusion WebUI
在本教程中,您将学习如何使用阿里云模型在线服务(PAI-EAS)的预置镜像,快速部署AIGC Stable Diffusion SDWebUI绘画的AI-Web应用,以及启动WebUI进行模型推理。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
11月前
|
Python
使用Python自动发送邮件
使用Python自动发送邮件
208 0
使用Python自动发送邮件
|
11月前
|
XML JSON 自然语言处理
python接口自动化(三十三)-python自动发邮件总结及实例说明番外篇——下(详解)
发邮件前我们需要了解的是邮件是怎么一个形式去发送到对方手上的,通俗点来说就是你写好一封信,然后装进信封,写上地址,贴上邮票,然后就近找个邮局,把信仍进去,其他的就不关心了,只是关心时间,而电子邮件不像日常发送邮件的按天算,时间都是按秒算的。
141 0
python接口自动化(三十三)-python自动发邮件总结及实例说明番外篇——下(详解)
|
11月前
|
数据挖掘 Python
用Python学线性代数:自动拟合数据分布
用Python学线性代数:自动拟合数据分布
用Python学线性代数:自动拟合数据分布
|
11月前
|
存储 Python
【Pyqt实战】1-100算式练习题自动生成器(含UI界面,python代码),可自行选择参数
【Pyqt实战】1-100算式练习题自动生成器(含UI界面,python代码),可自行选择参数
【Pyqt实战】1-100算式练习题自动生成器(含UI界面,python代码),可自行选择参数
|
12月前
|
Python
python实操案例__01—根据文本数据自动绘制轨迹
用python根据文本数据自动绘制轨迹
|
数据安全/隐私保护 Python
|
Python
python做的快手自动评论工具 源码开源
可以自动打开快手 评论
100 0
|
自然语言处理 运维 调度
自动化运维?看看Python怎样完成自动任务调度⛵
本文讲解如何使用Python的schedule库完成自动化调度程序,通过代『发送邮件』这一代码实例展示了构建任务与任务调度的全过程。
2654 4
自动化运维?看看Python怎样完成自动任务调度⛵
|
Web App开发 测试技术
Selenium+python之隐藏浏览器的“Chrome正在受到自动软件的控制“提示语
Selenium+python之隐藏浏览器的“Chrome正在受到自动软件的控制“提示语
286 0
热门文章
最新文章
推荐文章
更多