手机扫一扫,现实物体隔空「复制粘贴」进电脑,北大校友的AI新研究,现在变成AR酷炫应用

简介: 全程不到10秒

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

编者按:本文来自微信公众号“量子位”(ID:QbitAI),作者:十三白交,36氪经授权发布。

魔法变现实,酷炫又实用。

还记得两年前,Zach King(男巫)的爆红魔术吗?

不仅从纸直接蹦出一个手机,还直接扔进了电脑里形成虚拟的天猫页面。

v2_15be3944370f44359f6d06dce643330f_img_000

现在,不用去羡慕男巫了,人人都可以把身边的东西“扔到”电脑里,而且一部手机就能搞定!

这就是来自34岁法国设计师Cyril Diagne的最新AR黑科技——AR Cut & Paste,将身边的事物“一键”复制粘贴到电脑上,整个完成时间不到10s。

比Ctrl+C和Ctrl+V还要爽快!

比如,拿手机扫一扫书上的模型图片,再把手机对准电脑屏幕,模型瞬间就复制到了电脑。

v2_a5389fcc8d654200b6915cb5fc919528_img_000

书上的人物也不在话下。

v2_88daad0b6e42447cb0c4d7fb45bf9a36_img_000

就有网友说道:连这个黑发小哥的头发都能识别出来,太神奇了。

v2_502cdcd40b6e4e2da0b4e76e557e3a81_img_000

当然,手写的笔记,也可以复制粘贴到电脑中。

v2_ec6c4e38d6024032abf682fc480115a0_img_000

他在Github上分享了他的AR新技术,已经狂揽7K颗小星星;而且在Reddit上分享不到14小时,就获得了近4K的点赞量。

v2_d60e537904db46c3bdc0791d9b5becb1_img_000

即使Cyril表示目前仅仅能在Photoshop中实现,但未来——肯定会有更多不同的输出方式。

只是现在,这项AR黑科技——魔法一样的新技术,只要你想,也能复刻。

简单四步,开启“复制粘贴”新世界

小哥非常热心地在GitHub中,描述了AR Cut & Paste的“上手指南”。

首先要强调的是,这是一个研究原型,而不是针对消费者或者Photoshop用户的工具。

AR Cut & Paste原型包含3个独立的模块。

移动应用(The mobile app)

  • 可以查看GitHub中/app文件夹,了解如何将App部署到手机中。

本地服务器(The local server)

  • 手机APP与Photoshop的接口。
  • 使用屏幕点(screenpoint)找到摄像机在屏幕上指向的位置。
  • 可查看/server文件夹,了解关于本地服务器的配置说明。

目标检测 / 背景移除服务(The object detection / background removal service)

  • 目前,显著性检测和背景移除,是委托给一个外部服务来完成。
  • 如果直接在移动应用中使用类似DeepLap这样的技术会简单很多。但这还没有在这个repo中实现。

第一步:配置Photoshop

在Photoshop软件首选项(Preferences)中,找到增效工具(Plug-ins)。

v2_4d423c1b8c3e41aeadb805001b99e97d_img_000

点击启用远程连接(Remote Connection),并设置密码。

v2_fd7a8539109a41a3a6cebec86e0b7ce6_img_000

这里需要确保一点,PS文档中的设置要与server/src/ps.py中的设置一致,否则只会粘贴一个空层。

此外,文档需要一些背景,如果只是白色背景,SIFT可能没有足够能力来做一个正确的匹配。

第二步:设置外部显著性目标检测服务

如上所述,目前,必须使用BASNet-HTTP封装器(需要CUDA GPU)作为外部HTTP服务,部署BASNet模型。

将需要部署的服务URL来配置本地服务器。如果在本地服务的同一台计算机上运行BASNet,请确保配置不同的端口。

第三步:配置并运行本地服务器

这一步的详细文档,在GitHub项目中的/server文件夹中,包含“安装”和“运行”两个步骤。

安装代码如下:

virtualenv -p python3.7 venvsource venv/bin/activatepip install -r requirements.txt

运行代码如下:

python src/main.py —basnet_service_ip=”http://X.X.X.X“ —basnet_service_host=”basnet-http.default.example.com” —photoshop_password 123456

其中,BASNET_SERVICE_HOST是可选的,只有在使用Knative / Cloud Run等入口网关在平台上部署服务时才需要。

以及,用Photoshop远程连接密码替换123456。

第四步:配置并运行移动App

安装代码如下:

npm install

然后更新component/Server.tsx中的IP地址,使其指向运行本地服务器的计算机IP:

3: const URL = “http://192.168.1.29:8080“;

运行代码如下:

npm start

OK!开启“复制粘贴”新世界,就是这么简单!

但如果你希望“知其然更知其所以然”,别眨眼,接着往下看。

如何做到隔空「复制粘贴」?

这个神奇的AR黑科技背后的主要技术,刚开始采用的是一个叫做BASNet的显著目标检测方法。

v2_c82f6e1fb3b24104a0152f0c78484632_img_000

这篇研究入围了CVPR 2019,而且论文一作还是位华人小哥哥——秦雪彬,已经于今年2月在加拿大阿尔伯塔大学拿到了博士学位,硕士就读于北京大学。

v2_f70ee2d3484441b39800e560b4460b4b_img_000

BASNet的核心框架如下图所示,主要由2个模块组成:

v2_b49a94f7544c4a3897e2fc0b94318d30_img_000

第一个模块是预测模块,这是一个类似于U-Net的密集监督的Encoder-Decoder网络,主要功能是从输入图像中学习预测saliency map。

第二个模块是多尺度残差细化模块(RRM),主要功能是通过学习残差来细化预测模块得到的Saliency map,与groun-truth之间的残差,从而细化出预测模块的Saliency map。

而最近,这位设计师小哥哥在此基础上,针对背景移除任务,采用了更新的方法。

同样是来自秦雪彬团队,被Pattern Recognition 2020接收,这个方法叫做U2-Net,其框架如下图所示:

v2_6b1c8bb8bf294970831ed678251676ab_img_000

还与其它20个SOTA方法分别做了定量和定性比较实验,在结果上都取得了不错的结果。

v2_1eb91de8299b4be8b224f04c5e163de7_img_000


v2_3c71c81a4fc245f79fc00afdd5717239_img_000

在下面的定性实验中,也可以比较明显的看到,该方法所提取出来的目标,更加细粒度和精确。

v2_1bc8a6ba97a44e10b46b5602bf5731e5_img_000

那么,北大校友的新方法,又是如何被法国设计师Cyril Diagne搞成黑科技应用的?

兼职写代码的法国设计师

原因无他,Cyril Diagne就是这样一个懂程序、搞设计,关注前沿研究进展的艺术家呀。

如果你关注他的社交动态,也都是天马行空的。

是那种从“诗词歌赋”到“人生哲学”,从“服装设计”到AR黑科技的妙人。

v2_19ab27a4694941f5a00cbeb0089a2337_img_000

Cyril Diagne,现居法国巴黎,除了设计师,程序员,还是洛桑艺术州立大学(ECAL)媒体于交互设计系的教授及主管。

2008年从巴黎Les Gobelins学校毕业以后,跟5位同学创立了艺术机构,致力于实现科技与艺术之间的创意交互,也奠定了他以后的艺术生涯,注定与科技密不可分。

2015年起,Cyril加入了谷歌文化驻巴黎的实验室。

与此同时,他还不断的在Gitbub上分享他的新成果。此前,他就曾在Github上发布了一些实用的小工具。

比如,一个可在Instagram页面的照片上添加3D效果的chrome扩展程序。

v2_bc2ca59ec2d24d38bf2f984d2e1b6372_img_000

在Web浏览器上直接用AR涂鸦你的脸。

v2_34631463a07549178b20fea4b26fc9fd_img_000

输入图像转3D照片。

v2_040ce7f0fd474211ba4e5142bdfcd4d5_img_000

总之,想法多、经历丰富,还懂技术和审美……

所以现在搞出AR复制这样的奇妙应用,打开一扇新大门,也让一众网友服服气气。

也算是把北大校友小哥的牛X研究,推到了更牛X的产品应用入口。

虽然还只是牛刀小试,但前景却妥妥无限可能。

你觉得这项黑科技,还能怎么用?怎么玩?

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-05-11
本文作者:量子位
本文来自:“36kr”,了解相关信息可以关注“36kr

相关文章
|
2月前
|
人工智能 安全 搜索推荐
北大计算机学院再登国际AI顶刊!张铭教授团队揭露医疗AI致命漏洞
【10月更文挑战第17天】北京大学计算机学院张铭教授团队在国际顶级人工智能期刊上发表重要成果,揭示了医疗AI系统中的致命漏洞——“模型反演”。该漏洞可能导致误诊和医疗事故,引起学术界和工业界的广泛关注。研究强调了医疗AI系统安全性评估的重要性。
40 1
|
28天前
|
存储 人工智能 安全
从梦想到现实:十年见证AI自动化漏洞修复的演变
2014年,我怀揣着利用科技创造更安全数字世界的梦想,提出了通过云平台自动化修复第三方网站漏洞的构想。十年后的2024年,随着AI技术的崛起,这一梦想已成为现实。如今,用户只需简单注册并安装插件,AI系统就能自动检测、修复漏洞,整个过程高效、智能。AI不仅提升了系统的可靠性和效率,还具备自我学习能力,使安全防护更加主动。未来,我将继续用AI探索更多可能,推动技术的发展,不断完善这个充满智慧与安全的数字世界。
54 3
从梦想到现实:十年见证AI自动化漏洞修复的演变
|
28天前
|
传感器 机器学习/深度学习 人工智能
自动驾驶汽车中的AI:从概念到现实
【10月更文挑战第31天】自动驾驶汽车曾是科幻概念,如今正逐步成为现实。本文探讨了自动驾驶汽车的发展历程,从早期的机械控制到现代的AI技术应用,包括传感器融合、计算机视觉、路径规划和决策控制等方面。尽管面临安全性和法规挑战,自动驾驶汽车在商用运输、公共交通和乘用车领域展现出巨大潜力,未来将为人类带来更安全、便捷、环保的出行方式。
|
1月前
|
Go vr&ar 图形学
重塑体验:AR/VR技术在游戏与娱乐行业的创新应用
【10月更文挑战第29天】本文探讨了AR/VR技术如何改变游戏与娱乐行业,介绍了AR和VR的基本概念及其在游戏和娱乐中的应用实例,包括《精灵宝可梦GO》的AR开发和VR视频播放器的实现代码,并展望了未来的发展趋势。
85 2
|
2月前
|
人工智能 安全 搜索推荐
北大计算机学院再登国际AI顶刊!张铭教授团队揭露医疗AI致命漏洞
【10月更文挑战第16天】北京大学张铭教授团队在国际顶级人工智能期刊上发表重要成果,揭示了医疗AI系统中的致命漏洞——“模型反演”。该漏洞可使攻击者通过特定数据样本误导AI诊断,引发误诊风险。此发现引起广泛关注,强调了医疗AI安全评估的重要性。
56 4
|
2月前
|
数据采集 人工智能 测试技术
还在死磕AI咒语?北大-百川搞了个自动提示工程系统PAS
【10月更文挑战第4天】北京大学和百川智能研究人员开发了一种名为PAS的即插即用自动提示工程(APE)系统,利用高质量数据集训练的大型语言模型(LLMs),在基准测试中取得了显著成果,平均提升了6.09个百分点。PAS仅需9000个数据点即可实现顶尖性能,并能自主生成提示增强数据,提高了灵活性和效率。尽管存在训练数据质量和提示多样性等方面的潜在局限性,PAS仍为解决提示工程挑战提供了有前景的方法,有望提升LLM的可用性和有效性。论文详见:https://arxiv.org/abs/2407.06027。
49 3
|
2月前
|
机器学习/深度学习 人工智能 算法
揭秘AI:机器学习的魔法与现实
【9月更文挑战第33天】在这篇文章中,我们将一探究竟,揭开机器学习神秘的面纱,通过直观的解释和代码示例,了解其背后的原理。无论你是初学者还是有一定基础的学习者,这篇文章都将为你提供有价值的信息。让我们一起探索机器学习的世界,发现它的奥秘和魅力!
|
4月前
|
vr&ar C# 图形学
如何开发增强现实(AR)应用:技术指南与实践
【8月更文挑战第24天】开发增强现实应用是一个充满挑战和机遇的过程。通过选择合适的技术栈、遵循科学的开发步骤,并充分考虑用户体验、设备兼容性、内容与创意以及数据安全等因素,您可以成功打造一款高质量的AR应用。随着技术的不断进步和应用场景的不断拓展,AR应用的未来充满了无限可能。
|
4月前
|
vr&ar 图形学 开发者
步入未来科技前沿:全方位解读Unity在VR/AR开发中的应用技巧,带你轻松打造震撼人心的沉浸式虚拟现实与增强现实体验——附详细示例代码与实战指南
【8月更文挑战第31天】虚拟现实(VR)和增强现实(AR)技术正深刻改变生活,从教育、娱乐到医疗、工业,应用广泛。Unity作为强大的游戏开发引擎,适用于构建高质量的VR/AR应用,支持Oculus Rift、HTC Vive、Microsoft HoloLens、ARKit和ARCore等平台。本文将介绍如何使用Unity创建沉浸式虚拟体验,包括设置项目、添加相机、处理用户输入等,并通过具体示例代码展示实现过程。无论是完全沉浸式的VR体验,还是将数字内容叠加到现实世界的AR应用,Unity均提供了所需的一切工具。
152 0
|
4月前
|
vr&ar C# 图形学
WPF与AR/VR的激情碰撞:解锁Windows Presentation Foundation应用新维度,探索增强现实与虚拟现实技术在现代UI设计中的无限可能与实战应用详解
【8月更文挑战第31天】增强现实(AR)与虚拟现实(VR)技术正迅速改变生活和工作方式,在游戏、教育及工业等领域展现出广泛应用前景。本文探讨如何在Windows Presentation Foundation(WPF)环境中实现AR/VR功能,通过具体示例代码展示整合过程。尽管WPF本身不直接支持AR/VR,但借助第三方库如Unity、Vuforia或OpenVR,可实现沉浸式体验。例如,通过Unity和Vuforia在WPF中创建AR应用,或利用OpenVR在WPF中集成VR功能,从而提升用户体验并拓展应用功能边界。
76 0