使用LoRA finetune Qwen3-embedding模型之后,以下是加载的代码.
问题:加载 adapter 前后输出的 embedding 完全一致:
环境:
sentence-transformers 2.7.0
transformers 4.51.3
peft 0.15.2
model = SentenceTransformer(
pretrained_model_dir,
device="cuda",
)
model = PeftModel.from_pretrained(
model,
model_dir,
trust_remote_code=True
)
model = model.merge_and_unload()
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352