在ModelScope中直接把上文作为instruction进行训练吗?

在ModelScope中,如果基于openbuddy -llama 70b或者13b进行多轮对话的训练,还是直接把上文作为instruction,或者input把回答作为output进行训练吗?还是用其他的语言格式呢 ?

展开
收起
LLLA 2023-09-19 22:08:52 93 分享 版权
1 条回答
写回答
取消 提交回答
  • 不可以。

    在 ModelScope 中,不能直接把上文作为 instruction 进行训练。

    ModelScope 是一个分布式训练框架,它可以将多个模型分割为不同的部分,并在不同的设备上并行训练。

    上文中的代码只是一个简单的模型训练代码,它不能用来进行分布式训练。

    如果要用 ModelScope 进行分布式训练,需要使用 tf.distribute.Strategy 来创建分布式训练策略,然后使用 tf.distribute.ModelScope 来创建模型。

    2023-10-19 10:14:20
    赞同 展开评论

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理