开发者社区 > 大数据与机器学习 > 正文

在使用datasets.load_data的时候,加载数据集报错。

使用datasets.load_data时,加载数据集报错,从hugging face下载文件缺失。

hfdataset = load_dataset(path, name=name, **kwargs)

其中
path=D:\code_for_python\Adaseq\AdaSeq-master\adaseq\data\dataset_builders\named_entity_recognition_dataset_builder.py
name=None
kwargs={'data_type': 'conll', 'data_files': {'test': 'D:\\code_for_python\\Adaseq\\AdaSeq-master\\dataset\\eBay_4\\test.txt', 'train': 'D:\\code_for_python\\Adaseq\\AdaSeq-master\\dataset\\eBay_4\\train.txt', 'valid': 'D:\\code_for_python\\Adaseq\\AdaSeq-master\\dataset\\eBay_4\\valid.txt'}}

报错信息
image.png

本地文件检查后本应下载的文件不存在

已经尝试 pip3 install modelscope --upgrade 升级到最新版本。无效

运行平台windows11

展开
收起
游客tcyatpjiueuca 2023-11-23 12:01:27 819 0
4 条回答
写回答
取消 提交回答
  • 根据您提供的信息,问题可能是由于文件路径不正确导致的。请确保您的文件路径是正确的,并且文件确实存在于指定的路径中。您可以尝试以下方法来解决这个问题:

    1. 检查文件路径是否正确。在您的代码中,您使用了相对路径(例如D:\\code_for_python\\Adaseq\\AdaSeq-master\\adaseq\\data\\dataset_builders\named_entity_recognition_dataset_builder.py),请确保这些路径是正确的。如果路径不正确,请使用绝对路径。

    2. 确保文件确实存在于指定的路径中。您可以使用文件资源管理器或命令行工具(如dir命令)来检查文件是否存在。

    3. 如果文件确实存在,但仍然无法加载数据集,请尝试使用绝对路径而不是相对路径。例如,将path参数更改为:

    path = "D:\\code_for_python\\Adaseq\\AdaSeq-master\\adaseq\\data\\dataset_builders\\named_entity_recognition_dataset_builder.py"
    
    1. 如果问题仍然存在,您可以尝试重新安装Hugging Face的Transformers库。在命令行中运行以下命令:
    pip install --upgrade transformers
    
    2023-11-27 08:47:39
    赞同 展开评论 打赏
  • 确保您已正确安装了所需的数据集。您可以使用pip install 命令来安装所需的Hugging Face数据集。默认情况下,Hugging Face数据集会被安装到Python环境的~/.cache/huggingface/datasets/目录中。如果您将数据集文件移动到了其他位置,则需要指定正确的路径参数。

    2023-11-23 15:57:03
    赞同 展开评论 打赏
  • 根据你提供的错误信息以及描述的情况,似乎是出现了缺少文件的问题。确保已正确安装了所需的所有依赖项,并且它们都处于最新版本。检查路径是否正确,并确认指定的文件是否存在。查看Hugging Face官方文档或其他相关资源,以了解可能的解决方案。

    2023-11-23 14:22:55
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据报错信息来看,问题可能在于路径中存在空格导致的。路径中的空格会导致程序无法正确识别文件路径,因此需要对路径中的空格进行转义处理。
    一种解决方法是替换掉路径中的空格,将其替换为URL编码中的%20,如下所示:

    path.replace(" ", "%20")
    

    另一种解决方法是在路径字符串前后加上反斜杠(\),如下所示:

    "path with space\\"
    

    最后一种方法是在路径字符串前后加上单引号('),如下所示:

    '"path with space"'
    
    2023-11-23 13:07:45
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载