联通元景:中国联通开源中文原生的文生图模型,优化对中文长文本和成语语义等理解

本文涉及的产品
视觉智能开放平台,视频资源包5000点
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,分割抠图1万点
简介: 联通元景(UniT2IXL)是中国联通AI推出的中文原生文生图模型,基于国产昇腾AI平台,优化中文语义理解,支持高质量图像生成。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

原文链接:https://mp.weixin.qq.com/s/1G8eXZY2OqgEId6yyN-nQQ


🚀 快速阅读

  1. 功能:支持中文语义理解和高质量图像生成。
  2. 技术:基于复合语言编码模块和昇腾AI算力集群。
  3. 应用:广泛应用于文物数字化、服装定制等领域。

正文(附运行示例)

联通元景是什么

公众号: 蚝油菜花 - UniT2IXL

联通元景(UniT2IXL)是中国联通AI推出的中文原生文生图模型,完全在国产昇腾AI基础软硬件平台上实现训练和推理。该模型采用复合语言编码模块,优化中文长文本和特色词汇理解,提升图像生成质量。

联通元景基于预训练海量中文图文数据,减少信息损失,准确生成高质量图片。元景文生图模型支持国产全栈训推,适配自定义数据集,实现跨平台平滑切换。已在多个行业如文创、服装等领域应用,助力企业提效降本。

联通元景的主要功能

  • 中文语义理解:基于复合语言编码模块,精确理解中文长文本和多属性对应词汇,提升中文语义理解能力。
  • 高质量图像生成:根据中文文本生成高质量的对应图像,支持中文特色词汇和表达。
  • 预训练与推理:引入海量中文图文对数据进行预训练,提高模型对中文专属名词和复杂表达的理解能力。
  • 算力适配:在国产昇腾AI基础软硬件平台上实现训练和推理,适配国产算力。

联通元景的技术原理

  • 复合语言编码模块:在SDXL架构中融合复合语言编码模块,替换英文CLIP模型为中文CLIP,增强中文短文本的理解能力。
  • encoder-decoder架构:引入基于encoder-decoder架构的语言模型到语言编码器部分,支持超过CLIP长度限制的长文本输入。
  • 昇腾AI算力集群:在昇腾AI大规模算力集群上实现模型的训练和推理,提供强大的计算支持。
  • 接口与Diffusers对齐:模型推理接口与Diffusers对齐,简化使用流程,支持单卡和多卡推理,单卡推理支持UNet Cache加速。

如何运行联通元景

1. 快速安装

git clone https://github.com/UnicomAI/UniT2IXL.git
cd UniT2IXL
conda create -n unit2i python=3.10
conda activate unit2ixl
cd unit2ixl
pip install -r requirements.txt

2. 权重下载

huggingface-cli download --resume-download UnicomAI/UniT2IXL

3. 推理demo.py

from pipline_unit2ixl import UniT2IXLPipeline
pipeline = UniT2IXLPipeline.from_pretrained("UnicomAI/UniT2IXL")
pipeline = pipeline.to("cuda:0")
prompt = "在绿色的森林中,隐藏着一座白色的哥特式教堂,教堂的尖塔直指蓝色的天空,教堂周围是五彩斑斓的野花和浅黄色的草坪。"
image = pipeline(prompt=prompt,guidance_scale=7.5,target_size=(1024,1024)).images[0]

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
8月前
|
人工智能 自然语言处理 文字识别
社区供稿 | 元象首个多模态大模型XVERSE-V开源,刷新权威大模型榜单,支持任意宽高比输入
元象公司发布了开源多模态大模型XVERSE-V,该模型在图像输入的宽高比方面具有灵活性,并在多项评测中展现出优越性能,超越了包括谷歌在内的多个知名模型。XVERSE-V采用创新方法结合全局和局部图像信息,适用于高清全景图识别、文字检测等任务,且已在Hugging Face、ModelScope和GitHub上开放下载。此外,模型在视障场景、内容创作、教育解题、百科问答和代码生成等领域有广泛应用,并在VizWiz等测试集中表现出色。元象致力于推动AI技术的普惠,支持中小企业、研究者和开发者进行研发和应用创新。
|
自然语言处理 知识图谱
中文竞技场模型体验
中文竞技场模型体验
372 0
|
自然语言处理 UED
中文竞技场大模型体验
中文竞技场大模型体验
|
自然语言处理 JavaScript Python
中文语言大模型体验小记
中文语言大模型体验小记
226 0
|
人工智能 自然语言处理 安全
清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳
清华系面壁智能开源中文多模态大模型VisCPM :支持对话文图双向生成,吟诗作画能力惊艳
616 0
|
8月前
|
人工智能 自然语言处理 算法
准确写汉字的文生图AnyText,魔搭社区最佳实践来啦!
AnyText模型所涉及的文字生成技术为电商海报、Logo设计、创意涂鸦、表情包等新型AIGC应用提供了可能性。
|
自然语言处理
中文大模型体验
中文大模型体验
225 1
中文竞技场模型体验篇
中文竞技场模型体验 写作创作相关 知识常识 人类价值观
161 0
中文竞技场模型体验篇
|
机器学习/深度学习 人工智能 编解码
微软必应再强化!接入OpenAI DALL·E模型,文字生成图像
微软必应再强化!接入OpenAI DALL·E模型,文字生成图像
110 0
|
机器学习/深度学习 Web App开发 自然语言处理
基于神经标签搜索,中科院&微软亚研零样本多语言抽取式摘要入选ACL 2022
基于神经标签搜索,中科院&微软亚研零样本多语言抽取式摘要入选ACL 2022
110 0

热门文章

最新文章