开发者社区> 问答> 正文

LLM大语言模型这里的LLaMA-7B可以换成支持中文的Chinese LLaMA-7B吗?

问题1:我想咨询下关于这篇文章《基于AIACC加速器快速实现LLaMA-7B指令微调》的问题https://help.aliyun.com/document_detail/2261217.html?spm=a2c4g.108331.0.0.8eee25e4RSBTZ9 LLM大语言模型这里的LLaMA-7B可以换成支持中文的Chinese LLaMA-7B吗?如果可以的话,工作量有多大?问题2:我除了需要合并权重这部分的操作,需要修改这个镜像里train之类的代码吗?因为我不是很熟悉aiacc这个框架,怕这边会有比较多的优化。

展开
收起
三分钟热度的鱼 2023-06-13 13:41:04 139 0
2 条回答
写回答
取消 提交回答
  • 针对问题1的回答:可以的,换成Chinese有一些合并模型的操作,具体可以参考下Chinese LLaMA-7B的repo进行。针对问题2的回答:aiacc是直接一行import使用,和train代码是解耦的,修改train代码不会影响aiacc的性能提升。此回答整理自钉群“LLM大语言模型-阿里云支持”

    2023-06-13 15:59:32
    赞同 展开评论 打赏
  • 对于问题1,LLaMA-7B是一个英文大语言模型,它的训练数据集是英文语料库。如果你想使用中文语料库训练大语言模型,需要使用中文语料库重新训练模型。AIACC加速器可以支持中文语料库的训练,但需要进行相应的配置和调整。具体的工作量取决于你要使用的中文语料库的大小和质量,以及你对AIACC加速器的熟悉程度。

    对于问题2,如果你只需要合并权重,而不需要修改训练代码,那么你不需要修改镜像中的train代码。你只需要将训练好的模型权重文件拷贝到镜像中,并使用相应的命令进行模型的加载和推理。当然,如果你想对训练代码进行优化和改进,也可以进行相应的修改。但这需要你对AIACC框架和深度学习模型的训练有一定的了解。

    2023-06-13 14:27:38
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
PAI灵骏智算 构建全链路LLM服务的最佳实践 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载