AI 顶会 NeurIPS 收录:淘系技术自研3D AI 算法

简介: 阿里巴巴淘系技术研发了全新 3D AI 算法,可基于 2D 图片精准搜索出相应的 3D 模型,准确率大幅提升10%,可降低 3D 打印、VR 看房、场景导购等领域的门槛。该研究成果已被 AI 顶会 NeurIPS 2020 收录。

原创 淘系技术 淘系技术  2020-12-10


导读:阿里巴巴淘系技术研发了全新 3D AI 算法,可基于 2D 图片精准搜索出相应的 3D 模型,准确率大幅提升10%,可降低 3D 打印、VR 看房、场景导购等领域的门槛。该研究成果已被 AI 顶会 NeurIPS 2020 收录。


image.png


3D研究是目前业界最热门的课题之一,是打造3D智能世界的核心基础。在探索3D数字化家居建设的过程中,阿里巴巴淘系技术部最新提出的2D图搜3D模型(IBSR)方案受到学界认可,相关论文已被国际人工智能顶会NeurIPS 2020录用发表。


image.png


IBSR旨在根据2D图片从给定3D池子里搜索出图片里物体对应的CAD模型。随着3D CAD模型数量迅速增长,研究设计高精度IBSR系统意义重大。 其有利于快速还原真实三维场景,也在数据库驱动的3D模型重建问题中扮演着至关重要的角色。解决IBSR问题的通用思路是将2D图与3D模型映射到同一空间,并学习相似度度量函数。过去几年,包括卡耐基梅隆大学,麻省理工,斯坦福大学等顶级学府都纷纷建立IBSR基准数据集,并投入相关研究。

 


动机


image.png


IBSR最大的难点在于如何克服2D图与3D模型的appearance gap,并解耦出无纹理信息干扰的统一几何表面特征表达。我们发现IBSR问题有一些特别的性质,包括(1)3D模型通常都是独立的个体(类别);(2)同一个3D模型现实中可能会对应不同纹理表面。这些特性在过去都未被很好的建模学习,使得传统方法在精细3D模型推荐上表现不尽如人意。

 


方法概述


image.png


针对这些特性,阿里巴巴淘系技术提出了纹理合成驱动的多视角度量学习架构。具体来说,我们设计纹理生成的条件对抗生成网络 (cGAN) 来为度量学习创造困难三元组 (Hard Triplets),使网络在训练过程中能有效抑制2D图丰富纹理的不利干扰,从而更关注于物体的几何细节特点。同时,为了使网络学习几何表面特征更容易,我们利用显著性与视角注意力机制来尽可能消除2D图片杂乱背景与无约束的投影视角干扰。

 


实验结果


image.png


我们的方案在多个开源数据集,包括Pix3D,Stanford Cars,Comp Cars,和3D-FUTURE,都取得了SOTA的结果,并且3D模型搜索准确率超过传统方法约10%以上。其中,3D-FUTURE为阿里巴巴淘系技术部主导开源的业界首个饱含纹理细节的大型3D家具模型数据集,欢迎大家使用并提取建议。

 

3D-FUTURE数据集链接:https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future

相关文章
|
3月前
|
传感器 人工智能 监控
智慧工地 AI 算法方案
智慧工地AI算法方案通过集成多种AI算法,实现对工地现场的全方位安全监控、精准质量检测和智能进度管理。该方案涵盖平台层、展现层与应用层、基础层,利用AI技术提升工地管理的效率和安全性,减少人工巡检成本,提高施工质量和进度管理的准确性。方案具备算法精准高效、系统集成度高、可扩展性强和成本效益显著等优势,适用于人员安全管理、施工质量监控和施工进度管理等多个场景。
116 0
|
28天前
|
机器学习/深度学习 人工智能 算法
Transformer打破三十年数学猜想!Meta研究者用AI给出反例,算法杀手攻克数学难题
《PatternBoost: Constructions in Mathematics with a Little Help from AI》提出了一种结合传统搜索算法和Transformer神经网络的PatternBoost算法,通过局部搜索和全局优化交替进行,成功应用于组合数学问题。该算法在图论中的Ramsey数研究中找到了更小的反例,推翻了一个30年的猜想,展示了AI在数学研究中的巨大潜力,但也面临可解释性和通用性的挑战。论文地址:https://arxiv.org/abs/2411.00566
77 13
|
2月前
|
机器学习/深度学习 人工智能 算法
Enhance-A-Video:上海 AI Lab 推出视频生成质量增强算法,显著提升 AI 视频生成的真实度和细节表现
Enhance-A-Video 是由上海人工智能实验室、新加坡国立大学和德克萨斯大学奥斯汀分校联合推出的视频生成质量增强算法,能够显著提升视频的对比度、清晰度和细节真实性。
115 8
Enhance-A-Video:上海 AI Lab 推出视频生成质量增强算法,显著提升 AI 视频生成的真实度和细节表现
|
1月前
|
机器学习/深度学习 存储 人工智能
淘天算法工程师玩转《黑神话》,多模态大模型如何成为天命AI
淘天集团未来生活实验室的算法工程师们以ARPG游戏《黑神话:悟空》为平台,探索多模态大模型(VLM)在仅需纯视觉输入和复杂动作输出场景中的能力边界。他们提出了一种名为VARP的新框架,该框架由动作规划系统和人类引导的轨迹系统组成,成功在90%的简单和中等难度战斗场景中取得胜利。研究展示了VLMs在传统上由强化学习主导的任务中的潜力,并提供了宝贵的人类操作数据集,为未来研究奠定了基础。
|
3月前
|
机器学习/深度学习 传感器 人工智能
智慧无人机AI算法方案
智慧无人机AI算法方案通过集成先进的AI技术和多传感器融合,实现了无人机的自主飞行、智能避障、高效数据处理及多机协同作业,显著提升了无人机在复杂环境下的作业能力和安全性。该方案广泛应用于航拍测绘、巡检监测、应急救援和物流配送等领域,能够有效降低人工成本,提高任务执行效率和数据处理速度。
127 2
智慧无人机AI算法方案
|
2月前
|
存储 人工智能 缓存
【AI系统】布局转换原理与算法
数据布局转换技术通过优化内存中数据的排布,提升程序执行效率,特别是对于缓存性能的影响显著。本文介绍了数据在内存中的排布方式,包括内存对齐、大小端存储等概念,并详细探讨了张量数据在内存中的排布,如行优先与列优先排布,以及在深度学习中常见的NCHW与NHWC两种数据布局方式。这些布局方式的选择直接影响到程序的性能,尤其是在GPU和CPU上的表现。此外,还讨论了连续与非连续张量的概念及其对性能的影响。
99 3
|
2月前
|
机器学习/深度学习 人工智能 算法
【AI系统】内存分配算法
本文探讨了AI编译器前端优化中的内存分配问题,涵盖模型与硬件内存的发展、内存划分及其优化算法。文章首先分析了神经网络模型对NPU内存需求的增长趋势,随后详细介绍了静态与动态内存的概念及其实现方式,最后重点讨论了几种节省内存的算法,如空间换内存、计算换内存、模型压缩和内存复用等,旨在提高内存使用效率,减少碎片化,提升模型训练和推理的性能。
114 1
|
4天前
|
算法 数据安全/隐私保护 计算机视觉
基于FPGA的图像双线性插值算法verilog实现,包括tb测试文件和MATLAB辅助验证
本项目展示了256×256图像通过双线性插值放大至512×512的效果,无水印展示。使用Matlab 2022a和Vivado 2019.2开发,提供完整代码及详细中文注释、操作视频。核心程序实现图像缩放,并在Matlab中验证效果。双线性插值算法通过FPGA高效实现图像缩放,确保质量。
|
1月前
|
算法 数据安全/隐私保护 计算机视觉
基于Retinex算法的图像去雾matlab仿真
本项目展示了基于Retinex算法的图像去雾技术。完整程序运行效果无水印,使用Matlab2022a开发。核心代码包含详细中文注释和操作步骤视频。Retinex理论由Edwin Land提出,旨在分离图像的光照和反射分量,增强图像对比度、颜色和细节,尤其在雾天条件下表现优异,有效解决图像去雾问题。
|
1月前
|
算法 数据可视化 安全
基于DWA优化算法的机器人路径规划matlab仿真
本项目基于DWA优化算法实现机器人路径规划的MATLAB仿真,适用于动态环境下的自主导航。使用MATLAB2022A版本运行,展示路径规划和预测结果。核心代码通过散点图和轨迹图可视化路径点及预测路径。DWA算法通过定义速度空间、采样候选动作并评估其优劣(目标方向性、障碍物距离、速度一致性),实时调整机器人运动参数,确保安全避障并接近目标。
148 68

热门文章

最新文章