开发者社区 > ModelScope模型即服务 > 正文

modelscope流水线如何加载lora合并权重

以下为例

其中的
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)

pipe.load_lora_weights(adapter_id)
pipe.fuse_lora()

如何写?

import torch
from diffusers import LCMScheduler, AutoPipelineForText2Image

model_id = "stabilityai/stable-diffusion-xl-base-1.0"
adapter_id = "latent-consistency/lcm-lora-sdxl"

pipe = AutoPipelineForText2Image.from_pretrained(model_id, torch_dtype=torch.float16, variant="fp16")
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

# load and fuse lcm lora
pipe.load_lora_weights(adapter_id)
pipe.fuse_lora()


prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# disable guidance_scale by passing 0
image = pipe(prompt=prompt, num_inference_steps=4, guidance_scale=0).images[0]

另外一个sdxl的写法没有问题也没有找到合并lora权重的方法

from modelscope.utils.constant import Tasks
from modelscope.pipelines import pipeline
import cv2

pipe = pipeline(task=Tasks.text_to_image_synthesis, 
                model='AI-ModelScope/stable-diffusion-xl-base-1.0',
                use_safetensors=True,
                model_revision='v1.0.0')

prompt = 'a dog'
output = pipe({'text': prompt})
cv2.imwrite('result.png', output['output_imgs'][0])

展开
收起
游客bzk3hmhuop4wa 2024-05-10 15:06:14 23 0
1 条回答
写回答
取消 提交回答
  • 在Diffusers库中,load_lora_weightsfuse_lora方法用于加载和融合LoRA权重。然而,ModelScope的示例代码中并没有直接提供加载LoRA权重的方法,因为它是一个模型仓库和模型管理平台,而不是直接处理模型微调和权重融合的工具。

    在Diffusers中,加载和融合LoRA权重的代码看起来是正确的。但是,如果你想要在ModelScope的代码中实现类似的功能,你需要确保ModelScope提供的模型已经包含了LoRA权重,并且有相应的API来加载和融合这些权重。如果ModelScope不直接支持LoRA,你可能需要使用Diffusers库来加载和融合LoRA权重,然后再使用ModelScope的流水线进行推理。

    如果你的ModelScope模型确实支持LoRA,你可以尝试寻找模型文档或ModelScope API中关于加载和融合自适应权重的部分。如果找不到,你可能需要联系模型提供者或者ModelScope的开发者来获取更多信息。

    如果ModelScope不直接支持LoRA,一种可能的解决方案是先使用Diffusers加载和融合LoRA权重,然后将得到的模型实例化或序列化成ModelScope可以理解的格式,但这通常需要对两个库的内部工作原理有深入的理解。

    请注意,由于我目前无法访问ModelScope的API和文档,以上建议是基于通用的编程实践。请查阅ModelScope的官方文档或联系其支持团队以获取更具体的指导。

    2024-05-10 17:37:49
    赞同 3 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
基于阿里云K8S服务快速构建DevOps流水线 资料下载 立即下载