当「分割一切」遇上图像修补：无需精细标记，单击物体实现物体移除、内容填补、场景替换（2）

填充一切实验结果

文本提示：a camera lens in the hand

文本提示：an aircraft carrier on the sea

文本提示：a sports car on a road

文本提示：a Picasso painting on the wall

替换一切实验结果

文本提示：sit on the swing

文本提示：breakfast

文本提示：a bus, on the center of a country road, summer

文本提示：crossroad in the city

总结

研究者建立这样一个有趣的项目，来展示充分利用现有大型人工智能模型所能获得的强大能力，并揭示「可组合人工智能」（Composable AI）的无限潜力。项目所提出的 Inpaint Anything (IA) 是一种多功能的图像修补系统，融合了物体移除、内容填补、场景替换等功能（更多的功能正在路上敬请期待）。

IA 结合了 SAM、图像修补模型（例如 LaMa）和 AIGC 模型（例如 Stable Diffusion）等视觉基础模型，实现了对用户操作友好的无掩码化图像修复，同时支持「点击删除，提示填充」的等「傻瓜式」人性化操作。此外，IA 还可以处理具有任意长宽比和 2K 高清分辨率的图像，且不受图像原始内容限制。

目前，项目已经完全开源。最后，欢迎大家分享和推广 Inpaint Anything (IA) ，也很期待看见更多基于 IA 所拓展的新项目。未来，研究者将进一步挖掘 Inpaint Anything (IA) 的潜力 以支持更多实用的新功能，如细粒度图像抠图、编辑等，并将其应用到更多现实应用中。

参考文献

[1] Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao,Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, Wan-Yen Lo, et al. Segment anything. arXiv preprint arXiv:2304.02643, 2023.

[2] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern

Recognition, pages 10684–10695, 2022.

[3] Roman Suvorov, Elizaveta Logacheva, Anton Mashikhin, Anastasia Remizova, Arsenii Ashukha, Aleksei Silvestrov, Naejin Kong, Harshith Goka, Kiwoong Park, and Victor Lempitsky. Resolution-robust large mask inpainting with fourier convolutions. In Proceedings of the IEEE/CVF winter conference on applications of computer vision, pages 2149–2159, 2022.

[4] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Doll´ar, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision–ECCV 2014: 13th European Conference,

Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pages 740–755. Springer, 2014.