一周AI最火论文 | 点点手指变换UI设计风格,斯坦福发布基于计算机视觉的UI设计工具

简介: 一周AI最火论文 | 点点手指变换UI设计风格,斯坦福发布基于计算机视觉的UI设计工具

本周最佳学术研究

基于神经样式转移的APP样式转换

斯坦福大学的研究人员介绍了ImageNet,使得终端用户和app开发人员可以通过样式转换的方法,使用他们选择的图像来重新设置GUI的样式。样式转移是指从参考图像中提取样式并将其应用于输入图像,是一项计算机视觉任务。

与传统的图像转换(如模糊、锐化和颜色转换)相比,该技术使用了了可以生成更丰富、更美丽且更多样化结果的结构。研究人员向50位评估者展示了使用ImagineNet和其他样式转换技术重新设计过的几种GUI,而所有人都偏好ImagineNet设计的样式。

与以前在内容中添加处理步骤以保留细节的做法不同,ImageNet从样式中复制了更多信息。该方法使终端用户可以使用他们选择的艺术品来重新设计app界面的样式,从而有效地使著名艺术家的技能变得触手可及。具体来说,ImagineNet可用于重新设计:

  • App的图形资产
  • 包含用户提供内容的app
  • 包含动态生成GUI的app

这个方法是未来技术发展的起点。即便是与当今最前沿的技术相比,我们也可以期待在未来看到更精美的app设计。

原文:

https://arxiv.org/abs/2001.04932v1

基于深度3D网络的按需实体纹理合成

在本文中,研究人员介绍了实体纹理合成的最新技术,然后介绍了使用卷积神经网络(CNN)进行2D纹理合成的一些成功应用。本文介绍的方法是采用CNN生成器按需合成实体纹理的首个方法。

按需生成实体纹理所需的部分对于稳定的纹理合成至关重要,因为对于大多数应用领域而言,以有用的分辨率存储整个实体纹理的价格是非常昂贵的。

该方法建立在先前基于示例合成2D纹理的CNN方法的基础上,提供了仅生成实体纹理所需部分的功能。研究人员还提到了相关的使用2D视图生成3D对象的CNN方法。

该方法可以得到一个简单轻便的网络,可以在生成体积的横截面沿着一到三个方向重现示例的视觉特征。

纹理合成可以用于填充图像中的空隙(例如修复),扩展小图片和生成巨大且不重复的背景图像。

本文提出的方法是有关的常规按需技术的必要改进。它仅生成必要的实体组件,因此有助于加速纹理化表面并节省内存。它很好地解决了基于补丁的2D和实体纹理方法遗留的问题。

该方法证实了合成逼真纹理的能力,也是向实现3D计算机图形、图像编辑、电影后期制作等领域的稳健应用迈进的重要一步。

原文:

https://arxiv.org/abs/2001.04528v1

GoogleResearch:回顾2019,展望2020和更远的未来

GoogleResearch专注于解决对人们的日常生活有极大帮助的问题。他们在最近发布的一篇文章中公布了2019年所做的所有研究工作。

他们在各种基础研究领域取得了进展、开源了各种代码并与各种团队继续合作来构建对终端用户更有用的工具和服务。

例如,在发展开发人员和AI研究社区方面,他们推出了TensorFlow 2.0,使ML系统和应用变得更加容易。他们还增加了对移动GPU推断的支持,推出了Teachable Machine 2.0(无需编码即可训练ML模型的工具)等。

在数据集领域,他们启动了多个数据集,来帮助ML社区探索不同的研究领域并负责任地共享开放数据。

大致来讲,你会在本文中找到一个令人兴奋的摘要(你肯定不想错过),其中列出了2019年完成的研究的全部清单,涉及包括AI伦理学、AI 造福社会、AI挑战、辅助技术、量子计算、通用算法和理论、AutoML、自然语言理解和机器人技术等在内的很多领域。

对于Google Research以及更广泛的研究社区而言,这是令人振奋的一年。就像Google Research一样,整个机器学习社区应该为我们在2019年的成就和2020年面临的挑战而感到兴奋。

原文:

https://ai.googleblog.com/2020/01/google-research-looking-back-at-2019.html

轻量级光流卷积神经网络

FlowNet和FlowNet2是实现光流估计的一些最新的CNN方法。但是要实现准确的流量估算,FlowNet2需要超过1.6亿个参数,并且运行速度很慢。

为了应对这一挑战,基于FlowNet2,研究人员现在开发了一种轻量且有效的卷积网络版本,他们将其称为LiteFlowNet2。新方法通过采用数据保真和基于变分的正则化,解决了经典的光流估计问题。

相较于FlowNet2,新方法在Sintel和KITTI基准测试上都表现更好,模型尺寸小了25.3倍,运行速度快了3.1倍。LiteFlowNet2也在常规方法的基础上,起到了类似于变型方法中数据保真和正则化的作用。

任何机器学习模型的目标都是在使用最少资源的同时获得准确的结果。

与传统技术相比,LiteFlowNet2具有轻量,准确和快速的流量计算功能,因此可以部署在诸如视频处理,视觉里程计,运动分割,动作识别,运动估计,SLAM,3D重建等应用中。

网络协议与训练模型:

https://github.com/twhui/LiteFlowNet2

原文:

https://arxiv.org/abs/1903.07414v2

如果机器人拥有计算机视觉魔法

计算机视觉处于快车道,而机器人技术处于慢车道。那么,机器人专家如何才能进入他们从事计算机视觉同事的快车道?

计算机视觉和机器人技术研究社区都始于相似的起点,但如今在会议和期刊,研究方法和研究速度方面存在很大的分歧。计算机视觉是基于评估而不是实验的,在过去的一年中研究人员渐渐意识到了对真实机器人进行评估的重要性,但与此同时也涉及许多挑战。

在这项工作中,研究人员提出了许多大胆的断言,他们认为应该在研究界内进行辩论,以提高我们机器人技术的集体创新速度。总结如下:

  • 标准数据集+竞争(评估指标+竞争者+竞争)+快速传播→快速进步
  • 没有竞争的数据集对进度的影响收效甚微
  • 为推动进步,研究人员应将他们的思维方式从实验转变为评估
  • 仿真是我们重复评估机器人性能的唯一方法
  • 研究人员可以使用新的 和新的指标来推动研究社区的发展

为了增加真实机器人对视觉研究社区的访问能力,他们提出并开发了BenchBot系统。BenchBot是一个在线门户,它使世界各地的研究人员都可以在真实、公平和平等的环境中,远程对各种类型的真实机器人进行机器学习和计算机视觉系统测试。

通过使研究人员访问原本可能无法访问的真实机器人,BenchBot的目标是使机器人民主化。它大大降低了研究需求门槛,无需拥有机器人、操作空间、操作人员或者精通ROS。

该代码已经开源,世界各地的其他研究实验室都可以复制BenchBot的设置,甚至可以建立更多在线门户,容纳更多研究人员在真实的机器人硬件上远程测试其算法。BenchBot的最终目标是允许在真实机器人上测试各种算法,成为机器人研究的标准化测试。

原文:

https://arxiv.org/abs/2001.02366v1

其他爆款论文

首届语音识别系统错误纠正公开挑战赛开幕,致力于提高自动语音识别系统的性能:

https://arxiv.org/abs/2001.03041v1

评估数据集移位下的预测不确定性。本文提出了关于现有分类问题最新方法的大规模基准,并评估了数据集偏移对准确性和校准的影响:

https://arxiv.org/abs/1906.02530

理论进,理论出:社会理论如何解决机器学习无法解决的问题。本文旨在指导计算机和社会科学家解决将机器学习工具应用于社会数据所涉及的问题:

https://arxiv.org/abs/2001.03203v2

代理可以类比学习吗?与基于最新模型算法的可推断模型相比,PAC强化学习的计算效率更高:

https://arxiv.org/abs/1912.10329v1

第一次尝试使用预训练的深度学习模型来增强针对迁移学习的后门攻击:

https://arxiv.org/abs/2001.03274v1

AI大事件

只有14.6%的公司在生产中部署了AI功能:

https://www.forbes.com/sites/gilpress/2020/01/13/ai-stats-news-only-146-of-firms-have-deployed-ai-capabilities-in-production/#7894fb7d2650

人工智能和人类软技能将成为2020年代的领导重点:

https://www.zdnet.com/article/ai-and-human-soft-skills-will-drive-leadership-priorities-in-2020s-linkedin-survey-finds/

披萨巨头达美乐正在利用英伟达GPU来加速和改善其AI驱动的应用程序:

https://blogs.nvidia.com/blog/2020/01/13/dominos-pizza-ai/


相关文章
|
2月前
|
人工智能 测试技术 API
AI计算机视觉笔记二十 九:yolov10竹签模型,自动数竹签
本文介绍了如何在AutoDL平台上搭建YOLOv10环境并进行竹签检测与计数。首先从官网下载YOLOv10源码并创建虚拟环境,安装依赖库。接着通过官方模型测试环境是否正常工作。然后下载自定义数据集并配置`mycoco128.yaml`文件,使用`yolo detect train`命令或Python代码进行训练。最后,通过命令行或API调用测试训练结果,并展示竹签计数功能。如需转载,请注明原文出处。
|
2月前
|
JSON 人工智能 数据格式
AI计算机视觉笔记二十六:YOLOV8自训练关键点检测
本文档详细记录了使用YOLOv8训练关键点检测模型的过程。首先通过清华源安装YOLOv8,并验证安装。接着通过示例权重文件与测试图片`bus.jpg`演示预测流程。为准备训练数据,文档介绍了如何使用`labelme`标注工具进行关键点标注,并提供了一个Python脚本`labelme2yolo.py`将标注结果从JSON格式转换为YOLO所需的TXT格式。随后,通过Jupyter Notebook可视化标注结果确保准确性。最后,文档展示了如何组织数据集目录结构,并提供了训练与测试代码示例,包括配置文件`smoke.yaml`及训练脚本`train.py`,帮助读者完成自定义模型的训练与评估。
|
2月前
|
人工智能 并行计算 PyTorch
AI计算机视觉笔记十八:Swin Transformer目标检测环境搭建
本文详细记录了Swin Transformer在AutoDL平台上的环境搭建与训练过程。作者从租用GPU实例开始,逐步介绍了虚拟环境的创建、PyTorch安装、mmcv及mmdetection的配置,并解决了安装过程中遇到的各种问题,如cython版本冲突等。最后,通过修改代码实现目标检测结果的保存。如需了解更多细节或获取完整代码,请联系作者。原文链接:[原文链接](请在此处插入原文链接)。
|
2月前
|
机器学习/深度学习 人工智能 PyTorch
AI计算机视觉笔记三十二:LPRNet车牌识别
LPRNet是一种基于Pytorch的高性能、轻量级车牌识别框架,适用于中国及其他国家的车牌识别。该网络无需对字符进行预分割,采用端到端的轻量化设计,结合了squeezenet和inception的思想。其创新点在于去除了RNN,仅使用CNN与CTC Loss,并通过特定的卷积模块提取上下文信息。环境配置包括使用CPU开发板和Autodl训练环境。训练和测试过程需搭建虚拟环境并安装相关依赖,执行训练和测试脚本时可能遇到若干错误,需相应调整代码以确保正确运行。使用官方模型可获得较高的识别准确率,自行训练时建议增加训练轮数以提升效果。
|
2月前
|
人工智能 开发工具 计算机视觉
AI计算机视觉笔记三十:yolov8_obb旋转框训练
本文介绍了如何使用AUTODL环境搭建YOLOv8-obb的训练流程。首先创建虚拟环境并激活,然后通过指定清华源安装ultralytics库。接着下载YOLOv8源码,并使用指定命令开始训练,过程中可能会下载yolov8n.pt文件。训练完成后,可使用相应命令进行预测测试。
|
2月前
|
人工智能 PyTorch 算法框架/工具
AI计算机视觉笔记二十二:基于 LeNet5 的手写数字识别及训练
本文介绍了使用PyTorch复现LeNet5模型并检测手写数字的过程。通过搭建PyTorch环境、安装相关库和下载MNIST数据集,实现了模型训练与测试。训练过程涉及创建虚拟环境、安装PyTorch及依赖库、准备数据集,并编写训练代码。最终模型在测试集上的准确率达到0.986,满足预期要求。此项目为后续在RK3568平台上部署模型奠定了基础。
|
2月前
|
人工智能 TensorFlow 算法框架/工具
AI计算机视觉笔记十七:实例分割
本文介绍了计算机视觉中的实例分割技术,通过结合目标检测和语义分割的方法,实现对图像中不同实例的精确区分与标记。以识别多只猫为例,详细描述了使用Mask R-CNN模型进行实例分割的过程,并提供了相关代码及环境搭建指南。通过实例演示,展示了如何利用该技术成功识别并分割出图像中的各个对象。
|
2月前
|
人工智能 并行计算 测试技术
AI计算机视觉笔记三十一:基于UNetMultiLane的多车道线等识别
该项目基于开源数据集 VIL100 实现了 UNetMultiLane,用于多车道线及车道线类型的识别。数据集中标注了六个车道的车道线及其类型。项目详细记录了从环境搭建到模型训练与测试的全过程,并提供了在 CPU 上进行训练和 ONNX 转换的代码示例。训练过程约需 4 小时完成 50 个 epoch。此外,还实现了视频检测功能,可在视频中实时识别车道线及其类型。
|
2月前
|
传感器 人工智能 算法
AI计算机视觉笔记二十七:YOLOV8实现目标追踪
本文介绍了使用YOLOv8实现人员检测与追踪的方法。通过为每个人员分配唯一ID,实现持续追踪,并可统计人数,适用于小区或办公楼出入管理。首先解释了目标检测与追踪的区别,接着详细描述了使用匈牙利算法和卡尔曼滤波实现目标关联的过程。文章提供了基于IOU实现追踪的具体步骤,包括环境搭建、模型加载及追踪逻辑实现。通过示例代码展示了如何使用YOLOv8进行实时视频处理,并实现人员追踪功能。测试结果显示,该方法在实际场景中具有较好的应用潜力。
|
2月前
|
人工智能 测试技术 PyTorch
AI计算机视觉笔记二十四:YOLOP 训练+测试+模型评估
本文介绍了通过正点原子的ATK-3568了解并实现YOLOP(You Only Look Once for Panoptic Driving Perception)的过程,包括训练、测试、转换为ONNX格式及在ONNX Runtime上的部署。YOLOP由华中科技大学团队于2021年发布,可在Jetson TX2上达到23FPS,实现了目标检测、可行驶区域分割和车道线检测的多任务学习。文章详细记录了环境搭建、训练数据准备、模型转换和测试等步骤,并解决了ONNX转换过程中的问题。