中文多模态模型问世!IDPChat生成图像文字,只需5步+单GPU

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 中文多模态模型问世!IDPChat生成图像文字,只需5步+单GPU


 新智元报道  

编辑:桃子 拉燕

【新智元导读】中文多模态模型IDPChat来了,快速上手教程在此。


中文多模态模型IDPChat和大家见面了。

随着GPT4、文心一言等的发布,预训练大模型正式开启由单模态向多模态模型演进。多模态的特性为语言模型带来更加丰富的应用场景。

我们认为,未来的AI应用将主要以大模型为核心基石。

而在大模型的领域,基于基础模型(Foundation model)构建领域或企业自有的大模型,会是近中期的重要发展趋势。

但在私有化大模型微调和应用方面,企业和机构仍面临着微调复杂、部署困难、成本较高等种种工程化挑战。

白海作为AI基础软件服务商,我们希望能够从AI Infra层面,提供端到端的大模型微调、部署和应用工具,降低大模型微调和应用的门槛。白海科技IDP平台目前提供了从大模型数据源接入到大模型微调训练、模型发布的全流程功能。

我们以IDP平台为工具支撑,以预训练大语言模型LLaMA和开源文生图预训练模型Stable Diffusion为基础,快速构建了多模态大模型应用IDPChat。开发者们可根据场景需求,便捷地对其进行微调优化。

项目地址:https://github.com/BaihaiAI/IDPChat

IDPChat 能做什么


IDPChat目前可以同时支持文字对话和图片生成。

首先是图像生成,我们可以让模型根据文字描述画一幅画。

基础的文字对话聊天示例,可支持中文。

IDPChat 快速上手


仅需简单的5步和单GPU,即可快速启用IDPChat。

操作步骤如下:

1.  修改 ./backend/app/stable_diffusion/generate_image.py 文件,设置 diffusion_path 的值为本地 stable-diffusion 模型存储路径,设置 trans_path 的值为本地中文翻译模型的存储路径

2.  修改 ./backend/app/llama/generate_text.py 文件,设置 load_model 的 base 参数值为本地 llama 模型的存储路径

3.  执行 build.sh 脚本进行编译

4.  编译成功后执行 run.sh 脚本启动服务

5.  服务启动成功后,在浏览器中打开http://127.0.0.1:8000

在应用之前,需要下载准备所需的模型,LLaMA、Stable diffusion和相应的翻译模型。

具体所需的环境、模型、和操作步骤可以参考https://github.com/BaihaiAI/IDPChat

目前发布IDPChat初步版本,打通模型微调的全流程。

后续我们会继续对模型进行优化和丰富,如多模态部分增加图像描述功能。

当然要实现特定领域更高质量、针对性的表现,还需要基于领域数据的finetune和优化。

对 IDPChat 和 IDP 平台感兴趣的开发者小伙伴、场景应用伙伴等欢迎关注Github并联系我们。我们相信 IDP 平台和 IDPChat 将成为您探索多模态大模型应用和私有化大模型构建的得力助手。

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
6月前
|
人工智能 机器人 Serverless
魔搭大模型一键部署到阿里云函数计算,GPU 闲置计费功能可大幅降低开销
魔搭大模型一键部署到阿里云函数计算,GPU 闲置计费功能可大幅降低开销
750 2
|
6月前
|
机器学习/深度学习 弹性计算 TensorFlow
阿里云GPU加速:大模型训练与推理的全流程指南
随着深度学习和大规模模型的普及,GPU成为训练和推理的关键加速器。本文将详细介绍如何利用阿里云GPU产品完成大模型的训练与推理。我们将使用Elastic GPU、阿里云深度学习镜像、ECS(云服务器)等阿里云产品,通过代码示例和详细说明,带你一步步完成整个流程。
2139 0
|
5月前
|
机器学习/深度学习 并行计算 算法框架/工具
为什么深度学习模型在GPU上运行更快?
为什么深度学习模型在GPU上运行更快?
74 2
|
5月前
|
机器学习/深度学习 并行计算 PyTorch
【从零开始学习深度学习】20. Pytorch中如何让参数与模型在GPU上进行计算
【从零开始学习深度学习】20. Pytorch中如何让参数与模型在GPU上进行计算
|
5月前
|
异构计算 弹性计算 并行计算
|
6月前
|
运维 监控 Serverless
一键开启 GPU 闲置模式,基于函数计算低成本部署 Google Gemma 模型服务
本文介绍如何使用函数计算 GPU 实例闲置模式低成本、快速的部署 Google Gemma 模型服务。
164978 58
|
6月前
|
机器学习/深度学习 人工智能 算法
为什么大模型训练需要GPU,以及适合训练大模型的GPU介绍
为什么大模型训练需要GPU,以及适合训练大模型的GPU介绍
259 1
|
12月前
|
存储 人工智能 芯片
多GPU训练大型模型:资源分配与优化技巧 | 英伟达将推出面向中国的改良芯片HGX H20、L20 PCIe、L2 PCIe
在人工智能领域,大型模型因其强大的预测能力和泛化性能而备受瞩目。然而,随着模型规模的不断扩大,计算资源和训练时间成为制约其发展的重大挑战。特别是在英伟达禁令之后,中国AI计算行业面临前所未有的困境。为了解决这个问题,英伟达将针对中国市场推出新的AI芯片,以应对美国出口限制。本文将探讨如何在多个GPU上训练大型模型,并分析英伟达禁令对中国AI计算行业的影响。
1488 0
|
6月前
|
人工智能 缓存 机器人
【2024】英伟达吞噬世界!新架构超级GPU问世,AI算力一步提升30倍
英伟达在加州圣荷西的GTC大会上发布了全新的Blackwell GPU,这款拥有2080亿个晶体管的芯片将AI性能推向新高度,是公司对通用计算时代的超越。Blackwell采用多芯片封装设计,通过两颗GPU集成,解决了内存局部性和缓存问题,提供20 petaflops的FP4算力,是上一代产品的5倍。此外,新平台降低了构建和运行大规模AI模型的成本和能耗,使得大型语言模型推理速度提升30倍。黄仁勋表示,Blackwell标志着AI算力在近八年内增长了一千倍,引领了技术边界拓宽的新趋势。
|
6月前
|
并行计算 TensorFlow 算法框架/工具