ModelScope中，大佬们这个问题怎么解决？

在 ModelScope 平台上，“Loading a dataset cached in a LocalFileSystem is not supported”的报错通常表示您的系统不支持将缓存的数据集加载到本地文件系统。
要解决这个问题，您可以尝试以下步骤：

1. 尝试更改缓存目录位置至非本地文件系统的其他位置。例如，您可以将缓存目录改为具有足够存储空间的外部硬盘或其他网络存储设备。
2. 如果您仍希望使用本地文件系统作为缓存目录，您可以尝试使用其他支持读取本地文件系统的工具来加载数据集。例如，在某些情况下，您可以尝试使用像 Hadoop 或 Spark 这样的大数据分析框架来处理和加载数据集。
3. 联系 ModelScope 技术支持团队进行咨询。他们应该能够提供更具体的指导和帮助，以解决您的问题。

这个问题是因为ModelScope不支持从LocalFileSystem加载缓存的数据集。你可以尝试以下方法解决这个问题：

1. 将数据集下载到本地文件系统，然后使用--data_dir参数指定本地数据集的路径。例如：

python run.py --model_cache_dir /home/yu-test/share/model/OpenBuddy/openbuddy-mistral-7b-v13.1 --data_dir /path/to/your/local/dataset

1. 如果你的数据集非常大，无法一次性下载到本地文件系统，可以考虑使用其他数据存储服务（如HDFS、S3等）来存储数据集，然后在运行模型时通过--data_source参数指定数据源的URL。例如：

python run.py --model_cache_dir /home/yu-test/share/model/OpenBuddy/openbuddy-mistral-7b-v13.1 --data_source hdfs://your-hdfs-url/path/to/your/dataset

注意：请根据实际情况替换上述命令中的路径和URL。

自定义数据集 --custom_train_dataset_path --custom_val_dataset_path——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①