裸眼3D?不,这可能是“自拍的未来”!-阿里云开发者社区

开发者社区> -技术小助手-> 正文

裸眼3D?不,这可能是“自拍的未来”!

简介: 裸眼3D?不,这可能是“自拍的未来”!
+关注继续查看

11月23日,《牛津英文词典》宣布选择放弃“2020年度词汇”的评选,将2020年形容为“无法用一个单词妥帖概括的一年”。

每年,“年度词汇”的评选,《牛津英文词典》会根据英文新闻等超过110亿个英文单词组成的语料库分析总结,希望能“反映本年度的风气、民众心情和关注焦点”,同时最终被选择的“年度词汇”还需要“具有文化意义的持久潜力”。

比如,2013年的“年度词汇”之一Selfie(自拍)。

根据统计,较之于前一年,2013年社交网站上“selfie”一词的使用率激增17000%。

如今,7年过去了,不知道大家的自拍技术都有怎样的突飞猛进呢?反正文摘菌可手握大家的老婆新垣结衣的自拍黑照呢。

不知道大家有没有想过,7年了,无人驾驶都开始在各地测试了,iPhone都出到12了,为什么自拍的方式一直没有变过呢?

这个问题也一直困扰着华盛顿大学和谷歌的研究人员们,近日,他们终于推出了一种全新的自拍方式,保证让你发在朋友圈的图像更加生动和仿真。

先来看看他们定义的“自拍的未来”到底是个什么东西:

虽然看上去确实比单纯的图像本身要更拟人一些,三维模型也让周围的环境都显露无疑,但是这晃来晃去的,文摘菌的眼睛都快给晃晕了。

nerfies鼓励人们分享更多

看看自己的微信,相信很多人的朋友圈都是自拍,简直就是“不自拍就会会死星人”。

2016年5月,The Outnet和舆情监测平台Pulsar对Facebook、Instagram、Twitter上发布的与“愉悦感”“兴奋感”相关的3300万份帖子进行了分析,结果显示,自拍更多了,但不再只是为了对外展示个人魅力,创造“美好的自我幻想”,而是通过自拍更好的认识自我,记录生活与成长的真实体验,比如进行减肥打卡、长跑记录等。

既然大多数积极的词汇都与“自拍”相关,那为什么我们不去分享更多呢?

抱着这样的设计理念和构想,nerfies就诞生了。

我们知道,要创建3D场景,通常需要一些特殊的硬件,比如LIDAR扫描仪,该扫描仪主要使用激光测量物距,从而可以更好地创建3D模型。现在,iPhone 12 Pro和12 Pro Max上也内置了LIDAR传感器。但要知道,这些特殊硬件并不便宜,也不是那么简单就能使用的。

不过,nerfies可就不一样了。如果你想要创建一个nerfies这样的“自拍”,你只需要从多个不同角度,拿着手机在自己面前来回晃动一下,同时确保自己始终保持在画面中,就这么简单。

就像这样:

根据官方介绍,nerfies是一种在给定时刻创建更全面的自拍的方法,观看者不仅可以观看2D图像,还可以在3D模式下缩放和平移对象,全程也无需任何其他特殊设备,用到的只有配备了摄像头的智能手机和一点点CPU处理能力。

论文链接:
https://nerfies.github.io/

如何解决又贵又麻烦的问题

要根据这种视频数据创建3D模型,研究人员使用了一种称为神经辐射场(Neuro Radiance Fields,简称NeRF)的方法,该方法可以从不同角度拍摄物体的多个图像,使用这些二维数据来计算和生成三维模型,同时允许其他人从不同的角度进行操作和观看。

不过,NeRF方法有一个问题,它要求拍摄对象在整个过程中保持完全静止。这对于我们来说,难度还是有的,因此NeRF方法需要利用到大型相机阵列,让其同时从多个角度捕捉一个人的图像,但是这就回到了和LIDAR一样的问题上了,摄像机阵列又贵又麻烦。

所以,在这个过程中,让被拍摄对象自己摇动手机捕捉自己的影像,可能是一种更容易的方法。但为了从多个角度生成静止图像,整个过程可能需要持续几秒钟的时间,这意味着拍摄对象不断运动。

为了解决这个问题,研究小组开发了一种称为可变形神经辐射场(简称D-NeRF)的新方法,该方法能够比较框架,以确定对象在它们之间移动了多少,然后自动计算必要的变形,这样就可以调整提取出的不完美的二维图像数据,将其仍用于创建准确的交互式3D模型。

D-NeRF通过优化附加的连续体积变形场来增强神经辐射场(NeRF),该场将每个观察点扭曲为规范的5D NeRF。研究人员还观察到,这些类似NeRF的形变场倾向于局部极小值,于是为基于坐标的模型提出了从粗到精的优化方法,该方法可实现更强大的优化。通过将原理从几何处理和物理模拟应用于类似NeRF的模型,提出了变形场的弹性正则化,进一步提高了鲁棒性。

研究人员通过使用装备有两部手机的设备收集数据进行评估,这两部手机可以拍摄时间同步的照片,并在不同的视点上产生相同姿势的训练/验证图像,这也证明了这种方法的确忠实地重建了非刚性变形的场景,并以高保真度再现了看不见的景象。

不仅如此,nerfies还可以通过对两个输入帧的变形潜在代码,进行插值来为场景设置动画。

如果未来某天,nerfies真的流行起来,只要有人看到别人在Instagram上分享的美食照片,他们还能看看四周的餐厅环境如何。

或者,如果一个业余时尚达人分享了自己在试穿一件上衣时的nerfie,其他人还能调整相机的位置,看看这件衣服要怎么搭配裤子和鞋子。

也就是说,nerfies可能会为社交媒体提供全新的视角,但与此同时,由于许多人可能在偷偷穿着睡裤在家办公,nerfies也会让这些人暴露无遗吧。

相关报道:
https://gizmodo.com/nerfies-might-be-the-future-of-selfies-letting-your-fr-1845764332
https://medium.com/swlh/nerf-neural-radiance-fields-79531da37734

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4565 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
5511 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
5779 0
阿里云服务器远程登录用户名和密码的查询方法
阿里云服务器远程连接登录用户名和密码在哪查看?阿里云服务器默认密码是什么?云服务器系统不同默认用户名不同
677 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
17206 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
3499 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
1153 0
1457
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载