中国风？古典系？AI中文绘图创作尝鲜！⛵

2022-12-20 397

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 本文对百度开源的中文 AI 图像生成器 ERNIE 进行讲解，包括工具简介、通过Demo页面和API两种使用方式，以及使用中文提示词生成的图像效果。

💡 作者：韩信子@ ShowMeAI
📘 深度学习实战系列： https://www.showmeai.tech/tutorials/42
📘 本文地址： https://www.showmeai.tech/article-detail/413
📢 声明：版权所有，转载请联系平台与作者并注明出处
📢 收藏 ShowMeAI查看更多精彩内容

💡 引言

人工智能图像生成器现在风靡一时。虽然 📘Dall-E2、 📘MidJourney和 📘Stable Diffusion目前处于中心舞台，但是百度开发的开源 AI 图像生成器 📘ERNIE-ViLG 也在互联网上流传。

💡 ERNIE-ViLG 是什么

ERNIE 代表通过知识整合增强表示——视觉语言生成。它是一个统一的生成预训练框架，用于使用 Transformer 模型进行双向图像文本生成。

需要明确的是，ERNIE 并不是 Stable Duffusion 的一个变体版本，尽管这两种模型都是开源的。根据 📘ERNIE论文，ERNIE-ViLG 2.0 是一种改进的文本到图像扩散模型，具有知识增强的去噪专家组合，以结合有关视觉场景的额外知识，并在不同步骤中解耦去噪能力。

💡 ERNIE-ViLG 使用方法

现在可以通过 huggingface 免费访问该模型。我们可以在 📘ERNIE-ViLG Demo 查看工具实例。

界面非常简单:可以看到经典的提示框，各种艺术风格的选择，以及图像分辨率。在艺术风格方面，ERNIE 提供了一些有趣的选择。这让我想起了 📘Dream by WOMBO 中的一个类似功能。

让我们用提示“An astronaut riding a horse in space”来生成样本。

该应用程序生成六张分辨率为 1024x1024 的图像。

ERNIE 的研究人员声称，他们的方法比 Dall-E2 和 Stable Diffusion 产生更清晰、更自然的细节。

真的吗？现在让我们尝试将艺术风格更改为“油画”。

这些结果本身都非常惊艳。

质量上，ERNIE 可以与 Dall-E2 和 Stable Diffusion 相媲美。但是，它在一致性方面表现不佳，就像在上面提到的，其中两个结果中的马无处可寻。这可能是训练ERNIE的数据集较小所致。

不过，如果仔细考虑数据集的大小，训练了 14.5 亿张图像的 ERNIE 与 MidJourney、Google Parti 等大型竞争对手的差距并不大。

也许开发人员找到了一种优化算法的方法，使其能够在较小的数据集上运行良好。我假设如果模型是在更大的数据集上训练的，现有的限制就会消失。

需要特别注意的是，ERNIE 是用中文开发的。这意味着，在开始图像生成过程之前，必须将英文提示翻译成中文。当然，使用中文的宝宝可以尽情玩耍~

这里有更多示例结果。

上图提示文字：“戴眼镜的猫”风格“油画”

上图提示文字：“五官端正的绘画女生”

💡 API 访问 ERNIE-ViLG

您可以通过 API 访问 ERNIE。如果您想尝试使用 API，请按照这个 📘GitHub 上的指南进行操作。

示例 API 调用如下所示。

def generate_image(
          text_prompts:str,
          style: Optional[str] = "探索无限",
          topk: Optional[int] = 6,
          output_dir: Optional[str] = 'ernievilg_output')