计算机图形学遇上深度学习

简介: 今日,TensorFlow 宣布推出 TensorFlow Graphics,该工具结合计算机图形系统和计算机视觉系统,可利用大量无标注数据,解决复杂 3D 视觉任务的数据标注难题,助力自监督训练。

来源商业新知网,原标题:计算机图形学遇上深度学习:针对3D图像的TensorFlow Graphics面世

今日,TensorFlow 宣布推出 TensorFlow Graphics,该工具结合计算机图形系统和计算机视觉系统,可利用大量无标注数据,解决复杂 3D 视觉任务的数据标注难题,助力自监督训练。

GitHub 地址:https://github.com/tensorflow/graphics
近几年,一种可以插入神经网络架构中的新型可微图形层(differentiable graphics layer)开始兴起。从空间变换器(spatial transformer)到可微图形渲染器,这些新型网络层利用多年的和图形学研究知识来构建更高效的新网络架构。将几何先验和约束显式建模到神经网络中,为能够以自监督的方式进行稳健、高效训练的架构打开了大门。

从高级层面来说,计算机图形管道需要 3D 物体及其在场景中的绝对位置、材质描述、光和摄像头。然后,渲染器利用该场景描述生成合成渲染。

1_jpeg

相比之下,计算机视觉系统从图像开始,推理场景的参数,对场景中的物体及其材质、三维位置和方向进行预测。

2_jpeg

训练能够解决这些复杂 3D 视觉任务的机器学习系统通常需要大量数据。由于标注数据的过程既昂贵又复杂,因此设计能够理解三维世界且训练时无需太多监督的机器学习模型非常重要。

结合计算机视觉和计算机图形学技术后,我们得以利用大量可用的无标注数据。如下图所示,这可以通过合成分析(analysis by synthesis)来实现:视觉系统抽取场景参数,图形系统基于这些参数渲染图像。

如果渲染图像结果与原始图像匹配,则说明视觉系统准确地抽取了场景参数。在该设置中,计算机视觉和计算机图形学携手合作,形成了一个类似自编码器的机器学习系统,该系统能够以自监督的方式进行训练。

3_jpeg

可微图形层

接下来,我们将探索 TensorFlow Graphics 的一些可用功能。更多详情,参见 GitHub 项目。

变换

物体变换控制物体在空间中的位置。如下图所示,利用轴角度旋转立方体。旋转轴指向上方,旋转方向为逆时针,使得立方体逆时针旋转。以下 示例展示了如何在神经网络中训练旋转形式,该神经网络被训练用于预测观测物体的旋转和平移。

地址 https://colab.sandbox.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/6dof_alignment.ipynb
这项任务是很多应用的核心,包括聚焦于与其环境进行交互的机器人。在这些场景中,用机械臂抓取物体需要精确估计这些物体相对于机械臂的位置。

4

建模摄像头

摄像头模型在计算机视觉领域中非常重要且基础,因为它们对三维物体投影到图像平面上的外观有极大影响。如下图所示,该立方体看起来可以放大和缩小,但是事实上这些变化仅仅是由于焦距产生的变化。

想了解摄像头模型的详情,以及如何在 中使用它们的具体示例,可以查看:

https://colab.sandbox.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/intrinsics_optimization.ipynb
材质

材质模型(material model)定义光与物体的交互过程,从而提供物体的外观。例如,一些材质(如石膏)在各个方向对光进行反射,而镜面等材质会对光进行镜面反射。

在以下交互式 Colab notebook 中,你可以了解如何使用 Tensorflow Graphics 生成如下渲染。你还可以试验不同的材质和光的参数,更充分地了解其交互过程。

地址:https://colab.sandbox.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/reflectance.ipynb
准确地预测材质属性是很多任务的基础。例如,它可以让用户在自己的环境中放置虚拟家具,室内环境搭配家具的场景非常逼真,从而让用户准确地感知到这件家具的外观。

5_jpeg

几何——3D 卷积和池化

近年来,以点云或网格形式输出三维数据的传感器逐渐成为我们日常生活的一部分,包括智能手机深度传感器、自动驾驶汽车雷达等等。由于其结构不规则,在这些表征上执行卷积要比在规则网格结构上困难得多。

TensorFlow Graphics 提供两个 3D 卷积层和一个 3D 层,允许网络在网格上执行语义部分分类(如下图所示),更多信息参见该 Colab notebook:

https://colab.sandbox.google.com/github/tensorflow/graphics/blob/master/tensorflow_graphics/notebooks/mesh_segmentation_demo.ipynb

6_jpeg

TensorBoard 3d

视觉 debug 是评估实验是否按正确方向运行的重要方式。因此,TensorFlow Graphics 配备有 TensorBoard 插件,以便交互式地查看 3d 网格和点云。

7

开始项目

TensorFlow Graphics 与 TensorFlow 1.13.1 及以上版本兼容。

相关文章
|
机器学习/深度学习 算法 API
Kaggle
Kaggle 是一个在线数据科学竞赛平台,旨在为数据科学家和机器学习工程师提供一个学习和实践的社区。在 Kaggle 上,用户可以参加各种数据科学竞赛,通过解决实际问题来提高自己的技能。Kaggle 提供了丰富的数据集和工具,支持多种编程语言,如 Python、R 和 Julia 等。
637 3
|
人工智能 运维 Kubernetes
阿里云容器服务ACK AI助手正式上线带来的便利性
作为开发者想必大家都知道,云原生容器技术的优势,尤其是近两年的随着容器技术的迅猛发展,Kubernetes(K8s)已成为广泛应用于容器编排和管理的领先解决方案,但是K8s的运维复杂度一直是挑战之一。为了应对这一问题,就在最近,阿里云容器服务团队正式发布了ACK AI助手,这是一款旨在通过大模型增强智能诊断的产品,旨在帮助企业和开发者降低Kubernetes(K8s)的运维复杂度。那么本文就来详细讲讲关于这款产品,让我们结合实际案例分享一下K8s的运维经验,探讨ACK AI助手能否有效降低K8s的运维复杂度,并展望ACK AI助手正式版上线后的新功能。
716 2
阿里云容器服务ACK AI助手正式上线带来的便利性
|
应用服务中间件 Linux 网络安全
docker安装使用以及tomcat部署超级详解
docker安装使用以及tomcat部署超级详解
706 0
|
3月前
|
运维 关系型数据库 测试技术
【赵渝强老师】OceanBase部署工具
OceanBase是一款开源的国产分布式关系型数据库,支持通过obd和OCP部署数据库集群。obd(OceanBase Deployer)是OceanBase的安装部署工具,提供命令行和白屏界面两种方式,简化复杂配置流程,降低集群部署难度,并集成包管理、压测软件、集群管理等功能。OCP(OceanBase Cloud Platform)则面向中小型用户,提供主机管理、集群和租户运维等能力。文档详细介绍了obd的在线与离线安装方法、快速体验OceanBase的步骤,以及OCP的基本功能和主页面展示。
358 7
【赵渝强老师】OceanBase部署工具
|
9月前
|
消息中间件 缓存 PHP
PHP性能优化:从基础到进阶的实战指南####
本文旨在为开发者提供一份全面的PHP性能优化指南,涵盖从代码层面的基础优化到服务器配置的高级策略。通过具体实例分析,揭示如何有效减少页面加载时间、降低资源消耗,并提升用户体验。无论你是PHP新手还是资深开发者,都能在本文中找到实用的技巧和建议,助你打造更高效、更稳定的Web应用。 ####
|
10月前
|
监控 算法 网络协议
|
存储 弹性计算 安全
阿里云服务器2核4G、4核8G、8核16G实例选型指南:经济型、通用算力型和计算型选择参考
2核4G/4核8G/8核16G配置的云服务器在阿里云目前的活动中有经济型e、通用算力型u1和计算型c7、计算型c8y、计算型c7a等计算型实例可选,虽然配置相同,但是这些实例规格之间的性能和价格差别是很大的,因此,我们有必要弄清楚他们之间的差别,这样才能根据自己的需求选择最适合自己的实例。
阿里云服务器2核4G、4核8G、8核16G实例选型指南:经济型、通用算力型和计算型选择参考
|
搜索推荐 测试技术
MBTI:探索你的性格类型
MBTI:探索你的性格类型
314 4
|
人工智能 自然语言处理 安全
AI在教育中的应用:机遇与挑战
【6月更文挑战第18天】AI在教育中带来个性化学习、智能辅助教学和自动化评估等机遇,但也遭遇技术难题、教育理念融合、隐私安全及教师适应性等挑战。应对策略包括技术创新、理念融合、隐私保护和教师培训,以实现AI教育应用的潜力。
|
存储 安全 数据挖掘
性能30%↑|阿里云AnalyticDB X AMD EPYC,数据分析步入Next Level
阿里云原生数仓 AnalyticDB for PostgreSQL 与 AMD 新一代硬件深度优化,结合全自研计算引擎及行列混合存储实现性能升级,综合性能提升30%。结合丰富的企业级能力帮助企业构建离在线一体、流批一体综合数据分析平台,采用同一引擎即可满足离线批处理、流式加工,交互式分析三种场景,在开发运维、时效性及成本上具备更高的性价比。
681 0