魔搭社区源开源最新的代码大模型Ziya-Coding-34B-v1.0

Ziya-Coding-34B-v1.0 代码大模型的使用指南

Ziya-Coding-34B-v1.0 是由 IDEA 研究院封神榜团队开源的最新代码生成大模型，其在 HumanEval Pass@1 的评测中取得了 75.5 的高分，超越了 GPT-4（67.0），成为目前已知开源模型中的最高得分。该模型专注于自然语言生成高质量代码的能力，适用于多种编程任务。

以下是关于如何获取、部署和使用 Ziya-Coding-34B-v1.0 模型的详细步骤：

1. 获取模型文件

要使用 Ziya-Coding-34B-v1.0 模型，您需要从 ModelScope 平台下载模型文件，并将其上传至阿里云对象存储服务（OSS）以便后续使用。

步骤：

1. 安装 Git 和 Git LFS：

   yum install git
   yum install git-lfs
   

2. 克隆模型仓库： 使用以下命令克隆 Ziya-Coding-34B-v1.0 的模型仓库：

   GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/Fengshenbang/Ziya-Coding-34B-v1.0.git
   cd Ziya-Coding-34B-v1.0
   git lfs pull
   

3. 上传模型文件至 OSS： 将下载的模型文件上传至您的 OSS 存储桶：

   ossutil mkdir oss://<Your-Bucket-Name>/Ziya-Coding-34B-v1.0
   ossutil cp -r ./Ziya-Coding-34B-v1.0 oss://<Your-Bucket-Name>/Ziya-Coding-34B-v1.0
   

2. 部署模型推理服务

您可以使用阿里云容器服务 Kubernetes 版（ACK）或弹性加速服务（EAS）来部署 Ziya-Coding-34B-v1.0 模型的推理服务。

使用 ACK 部署：

1. 配置存储卷 PV 和 PVC： 创建持久化存储卷（PV）和持久化存储声明（PVC），挂载 OSS 中的模型文件。

2. 启动推理服务： 使用 arena 工具部署模型推理服务：

   arena serve create --name=ziya-coding --model-name=Ziya-Coding-34B-v1.0 --gpus=1 --image=<Your-Inference-Image>
   

3. 验证推理服务： 建立端口转发并发送推理请求：

   kubectl port-forward svc/ziya-coding 8000:8000
   curl -XPOST http://localhost:8000/generate -H "Content-Type: application/json" -d '{"text_input": "编写一个Python函数，计算两个数的和", "parameters": {"stream": false, "temperature": 0.9}}'
   

使用 EAS 部署：

1. 进入 PAI 控制台： 登录 PAI 控制台，选择对应的工作空间。

2. 部署模型： 在 Model Gallery 页面中，选择 Ziya-Coding-34B-v1.0 模型卡片，点击“部署”，配置推理服务名称及资源信息。

3. 调用推理服务： 使用 DashScope SDK 调用模型服务：

   import dashscope
   from http import HTTPStatus
   
   response = dashscope.Generation.call(
      model='ziya-coding-34b-v1.0',
      prompt='编写一个Python函数，计算两个数的和'
   )
   
   if response.status_code == HTTPStatus.OK:
      print(response.output)  # 输出生成的代码
   else:
      print(response.code, response.message)
   

3. 模型性能与适用场景

Ziya-Coding-34B-v1.0 模型在代码生成任务中表现出色，尤其适合以下场景： - 代码补全：根据上下文自动生成代码片段。 - 算法实现：将自然语言描述转化为具体的算法实现。 - 多语言支持：支持 Python、Java、C++ 等多种编程语言。

重要提示：
- 硬件要求：推荐使用 A100（80 GB 显存）及以上卡型进行推理，以确保性能和稳定性。
- 地域限制：对于参数量较大的模型，仅支持华北6（乌兰察布）和新加坡地域。

4. 社区贡献与生态发展

封神榜团队致力于为社区提供先进的大模型技术和经验，帮助开发者生产和定制更多优秀的垂类模型。如果您希望参与模型优化或贡献代码，请访问 ModelScope 平台了解更多详情。

通过以上步骤，您可以快速部署并使用 Ziya-Coding-34B-v1.0 模型，体验其在代码生成任务中的卓越表现。