使用LoRA finetune Qwen3-embedding模型之后,以下是加载的代码.
问题:加载 adapter 前后输出的 embedding 完全一致:
环境:
sentence-transformers                    2.7.0
transformers                             4.51.3
peft                                     0.15.2
model = SentenceTransformer(
    pretrained_model_dir,
    device="cuda",
)
model = PeftModel.from_pretrained(
            model,
            model_dir,
            trust_remote_code=True
        )
model = model.merge_and_unload()
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352