Fluid Dataset CR资源和Runtime CR资源是华为云ModelArts中的概念,用于描述在模型训练过程中使用的两种不同的计算资源。
Fluid Dataset CR资源指的是在训练过程中使用的数据集计算资源,也称为数据集计算资源。它主要用于处理训练数据,包括数据预处理、数据增强、数据切分等操作。Fluid Dataset CR资源通常是由数据处理任务或者数据处理服务来提供的,例如:数据清洗、数据转换、数据增强、数据切分等。
Runtime CR资源指的是在训练过程中使用的模型计算资源,也称为模型计算资源。它主要用于处理模型计算,包括模型编译、模型执行、梯度计算等操作。Runtime CR资源通常是由GPU、TPU等硬件加速设备来提供的,也可以是由CPU、FPGA等通用计算设备来提供的。
在模型训练过程中,Fluid Dataset CR资源和Runtime CR资源通常是配合使用的。在训练过程中,首先使用Fluid Dataset CR资源对数据进行处理,然后将处理后的数据送入Runtime CR资源进行模型计算。
以下是一个使用华为云ModelArts进行图像分类的示例,它使用了Fluid Dataset CR资源和Runtime CR资源:
- 数据处理:使用Fluid Dataset CR资源对训练数据进行数据增强、数据切分等操作。可以使用华为云ModelArts提供的数据处理服务,例如:图像分类数据增强、图像分类数据切分等。
- 模型训练:使用Runtime CR资源进行模型训练。可以在华为云ModelArts上选择一个预训练模型,例如:ResNet50,然后在模型上进行微调训练。在训练过程中,可以使用Fluid Dataset CR资源提供的数据处理结果,将处理后的数据送入模型进行计算。
- 模型部署:将训练好的模型部署到华为云ModelArts上,使用Runtime CR资源进行模型推理。可以使用华为云ModelArts提供的部署服务,例如:图像分类推理服务等。
- 模型管理:使用华为云ModelArts提供的模型管理服务,对训练好的模型进行版本管理、模型评估等操作。
