请问ModelScope hf上的Qwen-14B-Chat-Int4是一样可以正常使用的吗?

是的，ModelScope上发布的Qwen-14B-Chat-Int4模型也可以正常使用。Int4代表的是混合精度训练中的一种量化级别（Integer Quantization），它可以帮助模型在保持一定准确度的同时减少计算量和内存需求。

为了使用这个模型，请确保你已经安装了最新的transformers库，并且你的环境支持混合精度推理。然后，你可以按照以下步骤加载并使用模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "modelscope/Qwen-14B-Chat-Int4"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 示例：生成一段文本
prompt = "今天天气怎么样？"
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=100, num_return_sequences=1, temperature=0.9, no_repeat_ngram_size=2)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)

print(generated_text)

模型文件下载可能比较慢，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

Qwen-14B是一款基于Transformer的大规模语言模型，其在大量的预训练数据上进行训练，这些数据包括网络文本、书籍、代码等。此外，基于Qwen-14B，研发团队还开发了Qwen-14B-Chat，这是一款基于大语言模型的AI助手，其训练采用了对齐技术。雄哥团队已经对其进行了部署测试，并发现其效果卓越。

为了在本地环境中使用Qwen-14B-Chat，需要先安装配置环境，主要步骤包括创建环境、安装依赖和下载权重。然后需要进行权重部署量化，主要包括修改配置文件、量化版本和启动模型。如果你需要获取相关文件，可以在公号后台回复“qwen”进行下载。另外，你也可以访问阿里云的灵积平台来访问和调用Qwen-14B和Qwen-14B-Chat。