2021抖音和快手APP图像修复背后的核心技术,毫无ps痕迹(二)

简介: 2021抖音和快手APP图像修复背后的核心技术,毫无ps痕迹(二)

‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍论文5. TTA-Net - Texture Transform Attention for Realistic Image Inpainting‍‍‍‍‍‍‍‍‍‍‍‍‍‍



根据纹理特征和语义特征的相似度计算attention weight,作用到纹理特征上,生成一个reassembled 的纹理。生成的纹理细节非常好。


提出了一种新的网络,利用U-Net 结构,通过在已经验证过的编码解码图像修复网络中添加跳跃连接,直接将编码的纹理传输到解码器。


  • 为了更有效的纹理转移,我们提出了纹理转换注意力模块(TTA),搜索最相似的patch。TTA 模块查找patch 的索引和相似度权重,并将纹理进行相应的重组,并将其传递给解码器。


  • TTA-Net 可以使用特征合成模块,通过深层和浅层纹理的迭代应用来合成纹理更细的图像。


  • 这个前向生成网络在各种数据集上实现了高质量的修复结果,包括 CelebA faces ,CelebA- hq faces, DTD textures 和Places2。


TTA 模块:


83cbab37b1312470fbd9f9fe3a96f029.png


首先,将上下文特征(contextual feature Q)和精细纹理特征(Fine texture feature P)展开到相同大小,计算相似度权重(作为卷积过滤器)。将所有patch 的相似度权重按通道进行比较,找出最相似的patch 的索引和权重。然后根据索引图折叠纹理特征,生成重构的纹理图(Reassembled texture map T)。纹理图和权重图会送到特征合成模块,与上下文特征融合,最终生成Fusion ration map R。


68b8a120557ed4f4412052ceb86fa43c.png


结论:


确实在纹理细节上面,生成的细节非常丰富 。实验也证明了加入正则化能够有效的减少斑驳的棋盘状伪影。


论文 6. VQ - GAN:Taming Transformers for High-Resolution Image Synthesis



源码:


https://github.com/CompVis/taming-transformers


项目主页:


https://compvis.github.io/taming-transformers/


是基于Transformer 的高分辨率图像合成方法。解决了之前 Transformer 局限于低分辨率图像的基本挑战。VQ-GAN 将图像表示为感知上丰富的图像成分的合成形式,避免了直接在像素空间对图像建模的二次复杂度。用CNN 架构对合成成分进行建模,用Transformer 架构对成分进行合成,充分挖掘了二者的互补潜力。


Inpainting 常用损失函数:


458fc8ebb85341b7a619830ebc41737c.png

d42f8015bf8027667e636cfff896f9ec.png


Inpainting 量化评价指标:


f993e0e03701a09e526c384d644b6a80.png


a4cf8f1bb3e978349a41d19011097fe6.png


9a585c736ae5094a9c62ef5faab20eee.png


Video Inpainting 数据集:


6b5380060a25a1b52dd89b9d07374544.png

相关文章
|
4月前
|
网络安全 开发者 iOS开发
iOS技术博客:App备案指南
本文介绍了移动应用程序(App)备案的重要性和流程。备案是规范App开发和运营的必要手段,有助于保护用户权益、维护网络安全和社会秩序。为了帮助开发者更好地了解备案流程,本文提供了一份最新、最全、最详的备案指南,包括备案目的、好处、对象、时间、流程、条件和注意事项等内容。
iOS技术博客:App备案指南
|
4月前
|
XML 前端开发 Java
Android App开发图像加工中卡片视图CardView和给图像添加装饰的讲解以及实战(附源码 简单易懂)
Android App开发图像加工中卡片视图CardView和给图像添加装饰的讲解以及实战(附源码 简单易懂)
50 0
|
3月前
|
安全 Java 数据安全/隐私保护
APP加固技术及其应用
在移动应用开发过程中,APP加固技术起到了非常重要的作用。APP加固是将apk文件进行混淆加密,以防止别人反编译获取我们的源码和资源文件。目前市场上主流的APP加固公司有三家,分别是梆梆加固、360加固和ipagurd加固。本文将介绍APP加固的概念、加固方案和比较,并探讨APP加固在实际开发中的应用。
|
15天前
|
数据采集 小程序 网络安全
云擎技术---分析工信部APP备案的“传闻”
APP备案并非新事物,自2005年起已有非经营性互联网信息服务备案制度。备案针对的是网站主办者,而非用户,不涉及个人用户网络访问。网络接入服务提供者包括ISP和IDC,不限于三大运营商。通知要求不为未备案网站提供接入,但不影响国外软件使用。个人开发者不能涉及经营性内容,备案审核时长1-20个工作日。境内服务器和国内应用商店需备案,境外则无需。手机厂商不会开启白名单制,仅实行黑名单制。APP备案与民营经济发展壮大意见不冲突,工信部有权颁布相关规定。该政策不存在逐步试探底线情况,所有解读均有法律依据。
23 3
云擎技术---分析工信部APP备案的“传闻”
|
26天前
|
存储 安全 开发工具
APP安全加固怎么做?加固技术、加固方法、加固方案
APP安全加固怎么做?加固技术、加固方法、加固方案
17 3
|
26天前
|
缓存 安全 Java
提高APP安全性的必备加固手段——深度解析代码混淆技术
提高APP安全性的必备加固手段——深度解析代码混淆技术
20 1
|
1月前
|
机器学习/深度学习 人工智能 搜索推荐
抖音上线AI社交APP“话炉”
【2月更文挑战第16天】抖音上线AI社交APP“话炉”
76 2
抖音上线AI社交APP“话炉”
|
3月前
|
开发框架 JavaScript 前端开发
深入探讨Vue.js核心技术及uni-app跨平台开发实践
深入探讨Vue.js核心技术及uni-app跨平台开发实践
47 0
|
3月前
|
移动开发 搜索推荐 UED
从网页到应用:探索在线生成App的技术方法
本文将介绍如何利用在线工具将网页封装成App的技术方法。通过简单易行的步骤,开发者可以将自己的网页转化为功能完备的应用程序,提供更好的用户体验和更广阔的市场覆盖。
|
3月前
|
安全 Java 数据安全/隐私保护
APP加固技术及其应用
APP加固技术及其应用
52 0

热门文章

最新文章