在ModelScope中,如果基于openbuddy -llama 70b或者13b进行多轮对话的训练,还是直接把上文作为instruction,或者input把回答作为output进行训练吗?还是用其他的语言格式呢 ?
不可以。
在 ModelScope 中,不能直接把上文作为 instruction 进行训练。
ModelScope 是一个分布式训练框架,它可以将多个模型分割为不同的部分,并在不同的设备上并行训练。
上文中的代码只是一个简单的模型训练代码,它不能用来进行分布式训练。
如果要用 ModelScope 进行分布式训练,需要使用 tf.distribute.Strategy 来创建分布式训练策略,然后使用 tf.distribute.ModelScope 来创建模型。