达摩院视觉 AI 技术应用探索(三)|学习笔记

简介: 快速学习达摩院视觉 AI 技术应用探索(三)

开发者学堂课程【视觉 AI 应用开发教程 达摩院视觉 AI 技术应用探索(三)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/289/detail/3410


达摩院视觉 AI 技术应用探索(三)


六、视觉迁移

1.视觉迁移—风格纹理变换

现有算法效果的缺点:

·要么风格化不足

•要么重要细节缺失和畸变

■如何充分风格化的同时保持重要细节不被损失或畸变?

·采用大感受野范围的特征进行匹配交换,导致原图细节缺失·采用小感受野范围的特征进行匹配交换,导致风格程度不足■实现方案:自适应多笔触布局(AttentionConsistency)

■图像区域重要度分析:Self Attention(自注意力 Ck 机制)

Self Attention GAN——感知远距离区域的特征相关性特征层计算,1x1卷积,降低计算开销

■多笔触融合

·强注意力区域采用精细粒度笔触,保证细节

弱注意力区域采用粗粒度笔触,充分风格化

image.png

2、视觉迁移——颜色拓展

image.png

视觉迁移一颜色拓展

■传统方案问题——效果差,效率低

·颜色不协调、单一

·受限:不支持位图,主视觉不突出,固定色卡,强交互

现有方案优势:

支持任意图作为参考色进行拓展:提取配色关系,学习参考配色与目标色间的对照关系,转换为二分图匹配问题,利用 Hungarian 算法求解最小分配代价

·计算两个颜色在色彩空间的距离,构建开销矩阵

·求解使得总颜色距离最小的映射,作为色卡的对应关系

√位图拓色效果优秀:通过约束空间一致性,对变换权重进行优化,解决颜色越阶跳变现象

√基于语义信息拓色尽可能保留了原稿主视觉信息:训练分类卷积神经网络(Inception),避免强语义元素不合理拓色(Precision:95%,Recall:83%,毫秒级响应)

绘定目标色系——绘定参考图——自动模式

算法指标:

高时效性:7层的1920*500图像,7种拓色,仅需1.8秒

高合理性:支持全自动配色/元素分拣过滤,效果更稳更好

高拓展性:支持单图、结构化图输入,可参照图片、色卡、智能配色进行拓展输出

 

七、视觉制造

1.实体设计制造

·效率低:多次打样,多次沟通(服装设计平均30天)

.协同差:设计、营销、生成脱节、倒置

.定制难:无法实现柔性生产

image.png

2、视觉制造的核心逻辑

image.png

数字商品:{试点计算 一致性计算 视觉迁移(纹理、材质等) 模型匹配 材质匹配 模型生成}→{实时渲染 离线渲染}

可以渲染到一个具体的图像和模式,去用于商业途径。

1. 视觉制造——包装设计

智能设计的优势:

几何生成          

材质工艺

智能设计

阵列布局  

2D3D 融合

视觉效果逼真、一键出图

·模型通用、尺寸自适应

.多种展示方式,实时修改和定制

匹配包装刀版图,直接对接供应链

几何生成:自适应纹理的几何生成:覆盖目前大部分常见包装类型。

image.png

自动布局:显著性检测,商品自旋转,布局变换矩阵计算,摄像机试点计算

2D3D 融合:集合一致性计算,3D 朝向设计,HDR 光照估计和融合渲染

image.png

4.视觉制造——三维几何自动生成

image.png

5.视觉制造——多样性拓展

image.png

6. 视觉制造——视觉迁移及融合

三维服饰检索:根据图像以及结构化找到匹配的三维模型

image.png

 

八、视觉公共云平台

1.视觉 API 开放平台一定位

解决方案 上层产品 能力组件 原子能力

本平台较关注能力组件和原子能力

image.png

例一:视觉智能开放平台——官网:vision.aliyun.com,里面有大概100中 API 能力

image.png

例二:视觉智能平台——能力布局

image.png

2.视觉智能开放平台的特点:

聚集达摩院及阿里巴巴经济体图像、视频、3D 视觉等领域的科学家和工程师沉淀的视觉 API 能力,打造全球领先的视觉智能技术商业化服务平台,让天下没有难用的视觉智能技术。

拥有阿里巴巴经济体海量场景和最佳案例中锤炼出来的视觉技术,为用户提供具备实战价值且有核心竞争力的视觉AI能力。

提供阿里巴巴经济体全方位视觉能力的输出,荟聚规模化、多样化、细粒度、场景化的视觉 AI 能力,为开发者和用户提供一站式能力选择。

依托阿里云智能坚实的基础设施服务,提供普惠易用的 AI 能力,采用通用且标准化的接口方式,让用户可以快速接入并使用视觉 API,省心省力。

image.png

相关文章
|
4天前
|
机器学习/深度学习 人工智能 搜索推荐
AI技术在医疗领域的应用与前景
本文探讨了人工智能(AI)技术在医疗领域的应用,包括疾病诊断、治疗方案制定、药物研发等方面。通过对现有研究成果的梳理,分析了AI技术在提高医疗服务效率、降低医疗成本、改善患者体验等方面的潜力。同时,也指出了AI技术在医疗领域面临的挑战,如数据隐私保护、伦理道德问题等,并展望了未来的发展趋势。
22 2
|
5天前
|
机器学习/深度学习 人工智能 机器人
AI技术在医疗领域的应用及挑战
本文将探讨人工智能(AI)在医疗领域的应用及其面临的挑战。我们将从AI技术的定义和分类开始,然后详细介绍其在医疗领域的具体应用,如疾病诊断、药物研发等。最后,我们将讨论AI在医疗领域面临的挑战,包括数据隐私、伦理问题等。
|
6天前
|
机器学习/深度学习 人工智能 搜索推荐
AI技术在医疗领域的应用与前景####
本文深入探讨了人工智能(AI)技术在医疗健康领域中的多维度应用,从疾病诊断、个性化治疗到健康管理,展现了AI如何革新传统医疗模式。通过分析当前实践案例与最新研究成果,文章揭示了AI技术提升医疗服务效率、精准度及患者体验的巨大潜力,并展望了其在未来医疗体系中不可或缺的地位。 ####
|
13天前
|
机器学习/深度学习 人工智能 搜索推荐
AI技术在医疗领域的应用####
本文探讨了人工智能(AI)技术在医疗领域的创新应用及其带来的革命性变化。通过分析AI在疾病诊断、个性化治疗、药物研发和患者管理等方面的具体案例,展示了AI如何提升医疗服务的效率和准确性。此外,文章还讨论了AI技术面临的挑战与伦理问题,并展望了未来的发展趋势。 ####
|
5天前
|
人工智能 Kubernetes Cloud Native
荣获2024年AI Cloud Native典型案例,阿里云容器产品技术能力获认可
2024全球数字经济大会云·AI·计算创新发展大会,阿里云容器服务团队携手客户,荣获“2024年AI Cloud Native典型案例”。
|
14天前
|
机器学习/深度学习 人工智能 算法
AI技术在医疗诊断中的应用及前景展望
本文旨在探讨人工智能(AI)技术在医疗诊断领域的应用现状、挑战与未来发展趋势。通过分析AI技术如何助力提高诊断准确率、缩短诊断时间以及降低医疗成本,揭示了其在现代医疗体系中的重要价值。同时,文章也指出了当前AI医疗面临的数据隐私、算法透明度等挑战,并对未来的发展方向进行了展望。
|
22天前
|
机器学习/深度学习 人工智能 自然语言处理
当前AI大模型在软件开发中的创新应用与挑战
2024年,AI大模型在软件开发领域的应用正重塑传统流程,从自动化编码、智能协作到代码审查和测试,显著提升了开发效率和代码质量。然而,技术挑战、伦理安全及模型可解释性等问题仍需解决。未来,AI将继续推动软件开发向更高效、智能化方向发展。
|
26天前
|
机器学习/深度学习 人工智能 自然语言处理
AI在医疗领域的应用及其挑战
【10月更文挑战第34天】本文将探讨人工智能(AI)在医疗领域的应用及其面临的挑战。我们将从AI技术的基本概念入手,然后详细介绍其在医疗领域的各种应用,如疾病诊断、药物研发、患者护理等。最后,我们将讨论AI在医疗领域面临的主要挑战,包括数据隐私、算法偏见、法规合规等问题。
45 1
|
18天前
|
机器学习/深度学习 人工智能 算法
AI在医疗诊断中的应用
【10月更文挑战第42天】本文将探讨人工智能(AI)在医疗诊断中的应用,包括其优势、挑战和未来发展方向。我们将通过实例来说明AI如何改变医疗行业,提高诊断的准确性和效率。
|
3天前
|
机器学习/深度学习 人工智能 JSON
【实战干货】AI大模型工程应用于车联网场景的实战总结
本文介绍了图像生成技术在AIGC领域的发展历程、关键技术和当前趋势,以及这些技术如何应用于新能源汽车行业的车联网服务中。