手机扫一扫,现实物体隔空「复制粘贴」进电脑,北大校友的AI新研究,现在变成AR酷炫应用-阿里云开发者社区

开发者社区> 云栖号资讯小哥> 正文

手机扫一扫,现实物体隔空「复制粘贴」进电脑,北大校友的AI新研究,现在变成AR酷炫应用

简介: 全程不到10秒
+关注继续查看

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

编者按:本文来自微信公众号“量子位”(ID:QbitAI),作者:十三白交,36氪经授权发布。

魔法变现实,酷炫又实用。

还记得两年前,Zach King(男巫)的爆红魔术吗?

不仅从纸直接蹦出一个手机,还直接扔进了电脑里形成虚拟的天猫页面。

v2_15be3944370f44359f6d06dce643330f_img_000

现在,不用去羡慕男巫了,人人都可以把身边的东西“扔到”电脑里,而且一部手机就能搞定!

这就是来自34岁法国设计师Cyril Diagne的最新AR黑科技——AR Cut & Paste,将身边的事物“一键”复制粘贴到电脑上,整个完成时间不到10s。

比Ctrl+C和Ctrl+V还要爽快!

比如,拿手机扫一扫书上的模型图片,再把手机对准电脑屏幕,模型瞬间就复制到了电脑。

v2_a5389fcc8d654200b6915cb5fc919528_img_000

书上的人物也不在话下。

v2_88daad0b6e42447cb0c4d7fb45bf9a36_img_000

就有网友说道:连这个黑发小哥的头发都能识别出来,太神奇了。

v2_502cdcd40b6e4e2da0b4e76e557e3a81_img_000

当然,手写的笔记,也可以复制粘贴到电脑中。

v2_ec6c4e38d6024032abf682fc480115a0_img_000

他在Github上分享了他的AR新技术,已经狂揽7K颗小星星;而且在Reddit上分享不到14小时,就获得了近4K的点赞量。

v2_d60e537904db46c3bdc0791d9b5becb1_img_000

即使Cyril表示目前仅仅能在Photoshop中实现,但未来——肯定会有更多不同的输出方式。

只是现在,这项AR黑科技——魔法一样的新技术,只要你想,也能复刻。

简单四步,开启“复制粘贴”新世界

小哥非常热心地在GitHub中,描述了AR Cut & Paste的“上手指南”。

首先要强调的是,这是一个研究原型,而不是针对消费者或者Photoshop用户的工具。

AR Cut & Paste原型包含3个独立的模块。

移动应用(The mobile app)

  • 可以查看GitHub中/app文件夹,了解如何将App部署到手机中。

本地服务器(The local server)

  • 手机APP与Photoshop的接口。
  • 使用屏幕点(screenpoint)找到摄像机在屏幕上指向的位置。
  • 可查看/server文件夹,了解关于本地服务器的配置说明。

目标检测 / 背景移除服务(The object detection / background removal service)

  • 目前,显著性检测和背景移除,是委托给一个外部服务来完成。
  • 如果直接在移动应用中使用类似DeepLap这样的技术会简单很多。但这还没有在这个repo中实现。

第一步:配置Photoshop

在Photoshop软件首选项(Preferences)中,找到增效工具(Plug-ins)。

v2_4d423c1b8c3e41aeadb805001b99e97d_img_000

点击启用远程连接(Remote Connection),并设置密码。

v2_fd7a8539109a41a3a6cebec86e0b7ce6_img_000

这里需要确保一点,PS文档中的设置要与server/src/ps.py中的设置一致,否则只会粘贴一个空层。

此外,文档需要一些背景,如果只是白色背景,SIFT可能没有足够能力来做一个正确的匹配。

第二步:设置外部显著性目标检测服务

如上所述,目前,必须使用BASNet-HTTP封装器(需要CUDA GPU)作为外部HTTP服务,部署BASNet模型。

将需要部署的服务URL来配置本地服务器。如果在本地服务的同一台计算机上运行BASNet,请确保配置不同的端口。

第三步:配置并运行本地服务器

这一步的详细文档,在GitHub项目中的/server文件夹中,包含“安装”和“运行”两个步骤。

安装代码如下:

virtualenv -p python3.7 venvsource venv/bin/activatepip install -r requirements.txt

运行代码如下:

python src/main.py —basnet_service_ip=”http://X.X.X.X“ —basnet_service_host=”basnet-http.default.example.com” —photoshop_password 123456

其中,BASNET_SERVICE_HOST是可选的,只有在使用Knative / Cloud Run等入口网关在平台上部署服务时才需要。

以及,用Photoshop远程连接密码替换123456。

第四步:配置并运行移动App

安装代码如下:

npm install

然后更新component/Server.tsx中的IP地址,使其指向运行本地服务器的计算机IP:

3: const URL = “http://192.168.1.29:8080“;

运行代码如下:

npm start

OK!开启“复制粘贴”新世界,就是这么简单!

但如果你希望“知其然更知其所以然”,别眨眼,接着往下看。

如何做到隔空「复制粘贴」?

这个神奇的AR黑科技背后的主要技术,刚开始采用的是一个叫做BASNet的显著目标检测方法。

v2_c82f6e1fb3b24104a0152f0c78484632_img_000

这篇研究入围了CVPR 2019,而且论文一作还是位华人小哥哥——秦雪彬,已经于今年2月在加拿大阿尔伯塔大学拿到了博士学位,硕士就读于北京大学。

v2_f70ee2d3484441b39800e560b4460b4b_img_000

BASNet的核心框架如下图所示,主要由2个模块组成:

v2_b49a94f7544c4a3897e2fc0b94318d30_img_000

第一个模块是预测模块,这是一个类似于U-Net的密集监督的Encoder-Decoder网络,主要功能是从输入图像中学习预测saliency map。

第二个模块是多尺度残差细化模块(RRM),主要功能是通过学习残差来细化预测模块得到的Saliency map,与groun-truth之间的残差,从而细化出预测模块的Saliency map。

而最近,这位设计师小哥哥在此基础上,针对背景移除任务,采用了更新的方法。

同样是来自秦雪彬团队,被Pattern Recognition 2020接收,这个方法叫做U2-Net,其框架如下图所示:

v2_6b1c8bb8bf294970831ed678251676ab_img_000

还与其它20个SOTA方法分别做了定量和定性比较实验,在结果上都取得了不错的结果。

v2_1eb91de8299b4be8b224f04c5e163de7_img_000


v2_3c71c81a4fc245f79fc00afdd5717239_img_000

在下面的定性实验中,也可以比较明显的看到,该方法所提取出来的目标,更加细粒度和精确。

v2_1bc8a6ba97a44e10b46b5602bf5731e5_img_000

那么,北大校友的新方法,又是如何被法国设计师Cyril Diagne搞成黑科技应用的?

兼职写代码的法国设计师

原因无他,Cyril Diagne就是这样一个懂程序、搞设计,关注前沿研究进展的艺术家呀。

如果你关注他的社交动态,也都是天马行空的。

是那种从“诗词歌赋”到“人生哲学”,从“服装设计”到AR黑科技的妙人。

v2_19ab27a4694941f5a00cbeb0089a2337_img_000

Cyril Diagne,现居法国巴黎,除了设计师,程序员,还是洛桑艺术州立大学(ECAL)媒体于交互设计系的教授及主管。

2008年从巴黎Les Gobelins学校毕业以后,跟5位同学创立了艺术机构,致力于实现科技与艺术之间的创意交互,也奠定了他以后的艺术生涯,注定与科技密不可分。

2015年起,Cyril加入了谷歌文化驻巴黎的实验室。

与此同时,他还不断的在Gitbub上分享他的新成果。此前,他就曾在Github上发布了一些实用的小工具。

比如,一个可在Instagram页面的照片上添加3D效果的chrome扩展程序。

v2_bc2ca59ec2d24d38bf2f984d2e1b6372_img_000

在Web浏览器上直接用AR涂鸦你的脸。

v2_34631463a07549178b20fea4b26fc9fd_img_000

输入图像转3D照片。

v2_040ce7f0fd474211ba4e5142bdfcd4d5_img_000

总之,想法多、经历丰富,还懂技术和审美……

所以现在搞出AR复制这样的奇妙应用,打开一扇新大门,也让一众网友服服气气。

也算是把北大校友小哥的牛X研究,推到了更牛X的产品应用入口。

虽然还只是牛刀小试,但前景却妥妥无限可能。

你觉得这项黑科技,还能怎么用?怎么玩?

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-05-11
本文作者:量子位
本文来自:“36kr”,了解相关信息可以关注“36kr

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
RecSys提前看 | 深度学习在推荐系统中的最新应用
作为推荐系统的顶会,RecSys 一如既往受到了业界的广泛关注。与其他机器学习会议相比,RecSys 一向重视解决实际的问题,即结合在实际应用场景中推荐系统性能提升、效果提高等问题提出设计策略和算法解决方案等。随着深度学习研究的进一步深入,深度学习在推荐系统中的应用依然是研究热点之一,本次会议中图神经网络(Graph Neural Network,GNN)、经典深度学习模型都有所应用及改进。
4 0
DARTS+:DARTS 搜索为何需要早停?
近日,华为诺亚 方舟实验室的作者们提出一种可微分的神经网络架构搜索算法 DARTS+,将早停机制(early stopping)引入到原始的 DARTS[1] 算法中,不仅减小了 DARTS 搜索的时间,而且极大地提升了 DARTS 的性能。相关论文《DARTS+: Improved Differentiable Architecture Search with Early Stopping》已经公开(相关代码稍后也会开源)。
4 0
学妹抱怨Spring入门太难了,我用一篇文章彻底征服了她(1)
学妹抱怨Spring入门太难了,我用一篇文章彻底征服了她
5 0
【大学四年自学Java的学习路线】写了一个月,这是一份最适合普通大众、非科班的路线,祝你零基础快速找到一份满意的工作(3)
【大学四年自学Java的学习路线】写了一个月,这是一份最适合普通大众、非科班的路线,祝你零基础快速找到一份满意的工作
7 0
干货,一文彻底搞懂 Java 的 Optional(2)
干货,一文彻底搞懂 Java 的 Optional
5 0
【大学四年自学Java的学习路线】写了一个月,这是一份最适合普通大众、非科班的路线,祝你零基础快速找到一份满意的工作(1)
【大学四年自学Java的学习路线】写了一个月,这是一份最适合普通大众、非科班的路线,祝你零基础快速找到一份满意的工作
7 0
【大学四年自学Java的学习路线】写了一个月,这是一份最适合普通大众、非科班的路线,祝你零基础快速找到一份满意的工作(2)
【大学四年自学Java的学习路线】写了一个月,这是一份最适合普通大众、非科班的路线,祝你零基础快速找到一份满意的工作
4 0
超多,超快,超强!百度飞桨发布工业级图像分割利器PaddleSeg
近日,飞桨官方发布了工业级图像分割模型库 PaddleSeg,给开发者带来诚意满满的三重超值惊喜:①一次性开源 15 个官方支持的图像分割领域主流模型,大礼包带来大满足。②多卡训练速度比对标产品快两倍,工业级部署能力,时间节省超痛快。③揭秘包揽了 CVPR2019 LIP 挑战赛人体解析任务大满贯的三冠王 ACE2P 预测模型关键技术,带你一步体验世界领先水平效果。
5 0
意念加AI算法「复原」每个手指,智能义肢登上Nature子刊封面
使用「意念」控制机械,让肢体缺失的残疾人过上正常人的生活,这听起来像是出现在电影中的场景。最近,瑞士洛桑联邦理工学院(EPFL)展示的新技术却让科幻变成了现实,他们的研究还登上了最新一期自然杂志子刊《Nature Machine Intelligence》的封面。
3 0
CCKS 2019 | 百度CTO王海峰详解知识图谱与语义理解
8 月 24 日至 27 日在杭州召开的 2019 年全国知识图谱与语义计算大会(CCKS 2019)上,百度 CTO 王海峰发表了题为《知识图谱与语义理解》的演讲。
4 0
+关注
云栖号资讯小哥
云栖号小编在此 ^o^
1403
文章
0
问答
来源圈子
更多
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载