还在自己看乐夏?别人已经在跟二次元老婆组乐队了!-阿里云开发者社区

开发者社区> -技术小助手-> 正文

还在自己看乐夏?别人已经在跟二次元老婆组乐队了!

简介: 还在自己看乐夏?别人已经在跟二次元老婆组乐队了!
+关注继续查看

周六的乐夏叒成了今年夏天的“周指活”?在家蹦迪的快乐还是大过了枯燥的工作。

都说听乐队不如自己玩乐队,玩乐队一定要找到合适的人。

文摘菌反问一句,还有比你的二次元老婆更合适的人选吗?既然如此,为何不和你的二次元老婆组个乐队玩玩?

于是,日本小哥Joe Mio就和他的二次元老婆组了一个乐队,看看这配合度:

再看看这吉他solo,多么和谐:

这个视频在日推掀起了热议,网友们纷纷表示眼红极了,也有人辛辣地指出,“虽然精度很高,舞蹈也很酷,但动作一点都不可爱”。

在国内,虽然也有人对此十分羡慕,但更多网友滑稽表示,“都说了你老婆是男的,怎么就是不信呢”。

要和二次元老婆配合最默契,就要用最精准的动作捕获系统

虽然推主没有公布具体的实现步骤,但是有不少网友指出,他们利用了OptiTrack动作捕获系统。

根据OptiTrack官网介绍,OptiTrack能够提供动作捕捉方面性能最好的平台,具有易于使用的生产流程和运行世界上最大舞台所需的深度。在Prime系列相机和Motive软件的结合下,OptiTrack能产生世界上最大的捕捉量、最精确的3D数据和最高的相机数量。

同时,OptiTrack还表示,他们在3D精度方面也是业界顶尖水平,这就是为什么美国动视选择OptiTrack来建立当前最大和最准确的动作捕获系统。

在设计理念上,OptiTrack表示,动作捕获系统不应该为了传递异常数据而变得过于复杂。

甚至在使用上也相当灵活,如果空间有限,你可以把相机挂在墙壁上,或者当你准备把器材搬到电影拍摄现场,它也可以很容易地与其他相机保持完整的互操作性。

“我们部署了110台Prime 41相机,创造了历史上最大的捕捉量。在185'x80'x20'的主动捕捉量上,我们把之前宣称的记录扩大了一倍——这是在一个挤满了演员、道具甚至是实际效果的真人电影场景中。”OptiTrack的CEO Brett Ineson表示。

不仅如此,OptiTrack还具有以下特点:
同时跟踪多个演员或道具,提供简单的后处理工作流程和自然互动;
范围广,Prime 41相机能够在100米开外的地方看到16mm的波动;
在阳光下不需要特殊的附加组件或硬件修改,就可以跟踪外部的反光标记;
系列相机可以切换到参考模式,参考素材可以与3D标记和骨骼数据叠加,用于校准和同步。

去年,在#SIGGRAPH2019展位,OptiTrack给大家带来了杂技演员的表演,以及同步叠加的动作捕捉数据:

除了动作捕获系统外,OptiTrack还专注于VR、机器人和可穿戴设备,官网链接如下:
https://optitrack.com/

全身跟踪器材对比测评:OptiTrack真有那么神?

虽然这次Joe Mio使用的就是OptiTrack,但OptiTrack真的和官网声称的一样厉害吗?

在Qiita上,有博主分享了针对当下比较热门的动作捕获系统的测评,包括OptiTrack、Perception Neuron、Xsens MVN共5个。Joe Mio表示,这其实也影响了他们对于器材的选择。

博主也给大家准备了一个“太长不看”版,简单来说,博主从价格、实现方法、一个人(单身狗)能不能正常使用等方面进行了综合评价。

首先在价格上,必须要承认的两点是,越贵的器材效果越好,越贵的器材运用起来就越需要人力和空间。

比如,最便宜的VIVE Tracker和Perception Neuron,一个人在6叠大的房间里就能使用。但是除此以外,Xsens MVN、OptiTrack和VICON的设备,既无法独自穿上服装,也无法单独进行校准工作。

在稳定性方面,价格的优势也体现得淋漓尽致。价格越便宜,耐故障的性能就越低,尤其是VIVE Tracker和Perception Neuron,它们需要2.4GHz带宽无线连接,在很多场景下就不是一个很好的选择。

其次,在实现方式上,这五种器材可以分为两类,一类是基于惯性传感器的系统,比如Perception Neuron和Xsens MVN,一类是基于光学的系统,比如OptiTrack、VICON和VIVE Tracker。

这两大类在设备和人数上也都存在一定的差异。在设备方面,惯性传感器系统附着在演员身上,除此之外不需要其他大量设备,因此,这类器材可以直接在穿戴在身上,在阳光直射的室外使用也没有任何问题。而光学系统主要使用的是附着在演员身上的逆反射材料,以及大量的红外摄像机和照射器,这就需要搭建一个带有三脚架和桁架的动作捕捉系统工作室,同时,这在室外很难实现测量和动作捕捉。

在人数上,光学系统针对现实中的位置进行测量,即使人物走动后再回到原来的位置,也不会出现偏差,因此它支持多个角色共同使用。而惯性传感器则是基于人体惯性传感器的时间积分,这就会积累误差,人体与传感器之间的位置关系也会随着使用时间逐渐发生偏移。

然后,在人物的体型和运动信息的获得上,Perception Neuron、Xsens MVN、OptiTrack和VICON可以预先输入或测量人物的体型和动作。我们知道,在这种技术中,你的身体和动作是都是虚拟人物的,而不是自己的,因此,需要针对二者的体型和动作差异进行学习和处理。这个过程叫做重定向(Retargeting)。

在这些器材中,VIVE Tracker是唯一一个无法捕捉人物完整信息的器材。其他动作捕捉系统中存在一个从传感器信息生成演员身体和运动信息的系统,或者,使用集成的重定向系统,直接用IK操纵角色。

反正总的来说,一分钱一分货,动作捕捉系统的价格越高,质量就越好,但需要注意,所需的人力和空间也会随之增加。

用机器学习把自己变成3D人物,中二少年的也有梦
正如网友所说,由于OptiTrack能够兼容Unity和Unreal Engine,所以才能够成功创建一个虚拟现实应用程序。

这也让文摘菌想到此前,日本中二少年幸彦青柳(Yukihiko Aoyagi)在学习了机器学习后,给自己做了个酷炫的模型,把自己的动作实时变成流畅的3D人物动作。

怎么说呢,虽然不是二次元老婆,但这个精度和清晰度也是一点不输。

过程中,青柳君尝试过多种实现方式,包括WindowsML,ML.Net,Onnx Runtime等,但最终选择了OpenCVSharp,也就是OpenCV模型导入功能,在Unity中加载和执行Onnx,因为OpenCVSharp在Unity和.Net环境中可以用相同的方式处理,图像也不会被转换为Mat格式。

尽管看上去处理起来很容易,但目前还缺少相关数据,青柳君特意总结了他的这次尝试,将文章公布在了Qiita上,有兴趣的大家可以前去看看:
https://qiita.com/yukihiko_a/items/386e3a86a5e523757707

现在,随着动作捕获技术的逐渐成熟,相信未来,不只是二次元老婆或者是你自己,还有更多的领域等待被挖掘,文摘菌就在这里静静地看着你们还能玩出什么花来。

相关链接:
https://qiita.com/Santarh/items/de41ca5662f7e3520091
https://twitter.com/jmworks/status/1294222981837680641
https://twitter.com/mobiusP/status/1294344742327615488

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
7005 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4519 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7830 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
9445 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
3278 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
1135 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
16931 0
1457
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载