我想训练FAQ问答的模型 ,选择的“ChatYuan-large” 模型。 基础模型 数据和我的数据 混在一起,这个模型不能初始化吗?
如果您想在开源模型基础上训练自己的模型,可以考虑使用迁移学习的方法。具体来说,您可以先使用开源模型在基础数据上进行训练,并将训练好的模型作为预训练模型,再在此基础上继续使用您的数据进行微调,以得到适合您的数据的模型。
关于“ChatYuan-large”模型无法初始化的问题,可能是由于您的训练数据和该模型的期望输入格式不一致导致的。可以尝试检查您的数据是否符合该模型期望的输入格式,并按照该格式进行处理。如果问题仍然存在,可以尝试使用其他开源模型或自行搭建模型进行训练。