【TensorFlow重大升级】自动将Python代码转为TF Graph,大幅简化动态图处理!

简介: TensorFlow发布重大功能改进AutoGraph,能自动将Python代码转换为TensorFlow Graph,TF动态图处理速度大幅提升!

【新智元导读】TensorFlow发布重大功能改进AutoGraph,能自动将Python代码转换为TensorFlow Graph,TF动态图处理速度大幅提升!

今天,TensorFlow团队发布新功能“AutoGraph”,能自动将Python代码(包括控制流,print () 和其他Python原生特征)转换为纯TensorFlow图代码(pure TensorFlow graph code)。

不使用 Eager Execution编写TensorFlow代码需要进行一些元编程(metaprogramming) ——先编写一个创建图(Graph)的程序,稍后再执行这个Graph。这可能令人困惑,尤其是对开发者新手来说。一些特别棘手的情况涉及更复杂的模型,比如要使用 if 和 while 的模型,或者有 print () 等副作用或接受结构化输入的模型。

为什么我们需要Graph呢?Graph允许各种优化,例如删除常见的子表达式和融合内核(fusing kernel)。再者,Graph简化了分布式训练和部署到各种环境的过程,因为它们形成了独立于平台的模型计算过程。这对于模型在多个GPU或TPU上的分布式训练尤为重要,如果你通过TensorFlow Lite、移动端、物联网等其他平台分发模型,Graph也很重要。

下面是一个很简单的、你可能希望添加到Graph里的操作:

def huber_loss(a):
  if tf.abs(a) <= delta:
    loss = a * a / 2
  else:
    loss = delta * (tf.abs(a) - delta / 2)
  return loss

通过Eager Execution,只是能做到这一点,但是由于Python解释器开销(interpreter overheads)或错过的程序优化机会,此类操作可能会很慢。

为了准备执行Graph,你需要重写这个以使用像 tf.cond () 这样的结构,但那样实现起来可能会耗时耗力而且很困难。AutoGraph可以为自动执行此类转换,将动态图编程的简易性保持很低的同时,获得基于Graph执行的性能优势。

在示例中,我们可以使用 autograph.convert () 来修饰函数,AutoGraph将自动生成 graph-ready 的代码。

使用AutoGraph,这段代码:

@autograph.convert()
def huber_loss(a):
  if tf.abs(a) <= delta:
    loss = a * a / 2
  else:
    loss = delta * (tf.abs(a) - delta / 2)
  return loss

在执行时将变成这种样子:

def tf__huber_loss(a):
  with tf.name_scope('huber_loss'):

    def if_true():
      with tf.name_scope('if_true'):
        loss = a * a / 2
        return loss,

    def if_false():
      with tf.name_scope('if_false'):
        loss = delta * (tf.abs(a) - delta / 2)
        return loss,
    loss = ag__.utils.run_cond(tf.less_equal(tf.abs(a), delta), if_true,
        if_false)
    return loss

你可以直接调用代码,就像TensorFlow op一样:

with tf.Graph().as_default():  
  x_tensor = tf.constant(9.0)

  # The converted function works like a regular op: tensors in, tensors out.
  huber_loss_tensor = huber_loss(x_tensor)

  with tf.Session() as sess:
    print('TensorFlow result: %2.2f\n' % sess.run(huber_loss_tensor))

综上,AutoGraph填补了Eager Execution和Graph之间的空白。AutoGraph 将你的 eager-style Python 代码自动转换为动态图生成(graph-generating)代码。

AutoGraph不仅仅是一组有用的宏指令(macro); 它涵盖Python语言的任何部分(利用源代码转换),包括控制流、函数应用程序和赋值、生成模板代码以及重构常用的Python让它易于转换为图形。

对于任何编译器,都会担心报错信息的可读性; 为此,AutoGraph创建了报错消息和堆栈跟踪,用来显示原始源代码中的错误源,而不仅仅是显示对生成的代码的参考。

可运行的例子

那么,AutoGraph可以为你做什么呢? 以下是一些代码示例,它可以直接转换为图形代码而无需任何更改。 如果你想查看完整的代码,我们有一个notebook,你可以在Colab或GitHub上查看。

在这里,我们使用循环和分支检测Collatz猜想。 注意,我们使用AutoGraph的.to_graph()函数将其转换为图形的原因,是为了多样性而不是为了装饰。

def collatz(a):
    counter = 0
    while a != 1:
        if a % 2 == 0:
            a = a // 2
        else:
            a = 3 * a + 1
        counter = counter + 1
    return counter

graph_mode_collatz = autograph.to_graph(collatz)
# The code is human-readable, too
print(autograph.to_code(collatz))

collatz_tensor = graph_mode_collatz(tf.constant(n))

AutoGraph可以支持任意嵌套控制流,例如:

def f(n):
  if n >= 0:
    while n < 5:
      n += 1
      print(n)
  return n

AutoGraph允许你将元素追加到循环内的数组中。 为了达到这个要求,我们使用一些AutoGraph助手,例如set_element_type 和 stack。

def f(n):
  z = []
  # We ask you to tell us the element dtype of the list
  autograph.set_element_type(z, tf.int32)
  for i in range(n):
    z.append(i)
  # when you're done with the list, stack it
  # (this is just like np.stack)
  return autograph.stack(z)

我们还支持像break,continue,甚至print和assert这样的结构。 转换后,该片段的Python将转换为图形(使用恰当的tf.Assert)。

def f(x):
  assert x != 0, 'Do not pass zero!'
  return x * x

能够轻松地添加循环,控制流程以及更多图表意味着可以轻松地将训练循环移动到图形中。 这个例子可以在这个notebook中找到,我们采用RNN训练循环并用一个sess.run()调用执行它。 在需要将整个训练循环传递给加速器而不是通过CPU控制器管理训练的情况下,这可能是很有用的。

AutoGraph开辟了构建和训练模型的新思路。我们期待根据开发者社区的建议为AutoGraph添加更多功能,所以请提出你的建议和问题吧!

AutoGraph和Eager Execution

在使用eager execution时,你仍然可以通过tf.contrib.eager.defun对代码的某些部分使用图执行。这要求你使用TensorFlow图形操作,如tf.cond()。 将来,AutoGraph将与defun无缝集成,以允许在简单的eager 风格的Python中创作图形代码。 当该实现可用时,你可以通过选择性地将eager代码转换为graph fragments来使用AutoGraph加速热点。

结论

AutoGraph是一款工具,可让你轻松构建直观,复杂的模型,在TensorFlow图中轻松运行。 这是一个现在在contrib中的实验工具,但我们希望尽快将其转移到核心TensorFlow中。

告诉我们您使用AutoGraph的经历! 如果你有反馈,建议或想法,请提交问题并向TensorFlow开发人员小组发送消息。

原文链接:https://medium.com/tensorflow/autograph-converts-python-into-tensorflow-graphs-b2a871f87ec7

原文发布时间为:2018-07-19
本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。
原文链接:【TensorFlow重大升级】自动将Python代码转为TF Graph,大幅简化动态图处理!

相关文章
|
1天前
|
设计模式 缓存 开发者
Python中的装饰器:简化代码,提高可读性
【9月更文挑战第10天】在Python编程的世界中,装饰器是一种强大的工具,它允许开发者在不修改原函数代码的情况下增加额外的功能。本文将通过简单易懂的语言和生动的例子,带你了解装饰器的概念、使用方法及其在实际开发中的应用价值。我们将一起探索如何利用装饰器来简化代码结构,提升代码的可读性和可维护性,让你的编程之旅更加顺畅。
|
2天前
|
数据挖掘 PyTorch TensorFlow
|
8天前
|
Python
探索Python中的装饰器:简化代码,增强功能
【9月更文挑战第3天】在Python的世界里,装饰器是那些静悄悄站在角落、却能大大改变游戏规则的神奇工具。它们就像是给你的函数穿上一件隐形的超级英雄斗篷,让函数拥有了超乎寻常的能力。本文将带领你一探究竟,看看如何通过几行简单的代码,就能让你的函数变得更加智能和强大。
|
1天前
|
机器学习/深度学习 数据挖掘 TensorFlow
🔍揭秘Python数据分析奥秘,TensorFlow助力解锁数据背后的亿万商机
【9月更文挑战第11天】在信息爆炸的时代,数据如沉睡的宝藏,等待发掘。Python以简洁的语法和丰富的库生态成为数据分析的首选,而TensorFlow则为深度学习赋能,助你洞察数据核心,解锁商机。通过Pandas库,我们可以轻松处理结构化数据,进行统计分析和可视化;TensorFlow则能构建复杂的神经网络模型,捕捉非线性关系,提升预测准确性。两者的结合,让你在商业竞争中脱颖而出,把握市场脉搏,释放数据的无限价值。以下是使用Pandas进行简单数据分析的示例:
10 5
|
2天前
|
开发者 Python
Python中的装饰器:简化你的代码
【9月更文挑战第9天】本文将介绍Python中的一种强大工具——装饰器。我们将从基础概念开始,逐步深入到装饰器的实际应用,包括函数装饰器和类装饰器。我们将通过实例来展示如何利用装饰器简化代码,提高代码的可读性和可维护性。最后,我们将探讨装饰器的一些高级用法,以及如何避免在使用时可能遇到的问题。无论你是初学者还是有经验的开发者,这篇文章都将帮助你更好地理解和使用装饰器。
12 6
|
3天前
|
Python
揭秘!Python系统编程里那些让代码自由穿梭的神奇代码行
【9月更文挑战第9天】在Python的世界里,一些简洁的代码行却蕴含着强大的功能,如列表推导式让列表生成仅需一行代码:`squares = [x**2 for x in range(10)]`。`with`语句则能自动管理文件和网络连接的关闭,如`with open(&#39;example.txt&#39;, &#39;r&#39;) as file:`。`lambda`函数和装饰器则允许快速定义函数和增强功能,而上下文管理器更是资源处理的利器。这些特性让Python代码更加优雅高效。
13 4
|
5天前
|
缓存 测试技术 开发者
探索Python中的装饰器:简化你的代码之旅
【9月更文挑战第6天】本文将深入探讨Python中一个强大而神秘的特性——装饰器。我们将通过实际例子揭示装饰器的工作原理,并展示如何利用它们来简化和增强你的代码。无论你是初学者还是有经验的开发者,这篇文章都将为你打开一扇门,让你的代码更加优雅和高效。
|
2天前
|
安全 数据安全/隐私保护 Python
Python系统编程实战:文件系统操作与I/O管理,让你的代码更优雅
【9月更文挑战第10天】Python不仅在数据分析和Web开发中表现出色,在系统编程领域也展现出独特魅力。本文将带你深入探讨Python中的文件系统操作与I/O管理,涵盖os、shutil和pathlib等模块的基础使用方法,并通过示例代码展示如何优雅地实现这些功能。通过掌握缓冲、异步I/O等高级特性,你将能够编写更高效、安全且易于维护的Python代码。示例包括使用pathlib遍历目录、设置缓冲区提升文件写入性能以及使用aiofiles实现异步文件操作。掌握这些技能,让你在Python系统编程中更加得心应手。
10 2
|
8天前
|
Python
Python中的装饰器:简化你的代码
【9月更文挑战第3天】装饰器,这个听起来有些神秘的名词,实际上在Python中扮演着重要的角色。它们就像是你的代码的小助手,帮你自动完成一些重复性的工作,让你的代码更加简洁、易读。本文将通过一个简单的例子,带你走进装饰器的世界,看看它们是如何工作的。
|
8天前
|
测试技术 数据安全/隐私保护 Python
Python中的装饰器:简化你的代码
【9月更文挑战第3天】装饰器在Python中是一个非常强大的工具,它可以让我们在不改变原有函数定义的情况下,对函数进行扩展,增加额外的功能。本文将通过一个简单的例子,介绍如何在Python中使用装饰器,以及如何使用装饰器来简化我们的代码。
15 6