如何加载自己的数据集,进行微调。我是说:自定义数据集的格式如何,才能load?
查看
train_dataset = MsDataset.load('people_daily_ner_1998_tiny', namespace='damo', split='train', download_mode=DownloadMode.FORCE_REDOWNLOAD)
eval_dataset = MsDataset.load('people_daily_ner_1998_tiny', namespace='damo', split='validation', download_mode=DownloadMode.FORCE_REDOWNLOAD)
的缓存文件,类容格式为
id,text,info_list,schema
test,好用,很适合画内眼线。,'[[{''type'': ''属性词'', ''span'': ''画内眼线'', ''offset'': [6, 10]}, {''type'': ''正向情感(情感词)'', ''span'': ''很适合'', ''offset'': [3, 6]}]]','{''属性词'': {''正向情感(情感>词)'': null, ''负向情感(情感词)'': null, ''中性情感(情感词)'': null}}'
test,很好,很好用,物流很快,能搜索到方圆一百五十米内的信号,'[[{''type'': ''属性词'', ''span'': ''物流'', ''offset'': [7, 9]}, {''type'': ''正向情感(情感词)'', ''span'': ''很快'', ''offset'': [9, 11]}]]','{''>属性词'': {''正向情感(情感词)'': null, ''负向情感(情感词)'': null, ''中性情感(情感词)'': null}}'
test,一般般还可以用也可以看,[],'{''属性词'': {''正向情感(情感词)'': null, ''负向情感(情感词)'': null, ''中性情感(情感词)'': null}}'
test,死都不在这里买东西,烂烂烂,[],'{''属性词'': {''正向情感(情感词)'': null, ''负向情感(情感词)'': null, ''中性情感(情感词)'': null}}'
test,质量不怎么样,价格贵,'[[{''type'': ''属性词'', ''span'': ''质量'', ''offset'': [0, 2]}, {''type'': ''负向情感(情感词)'', ''span'': ''不怎么样'', ''offset'': [2, 6]}], [{''type'': ''属性词'', ''span'': ''>价格'', ''offset'': [7, 9]}, {''type'': ''负向情感(情感词)'', ''span'': ''贵'', ''offset'': [9, 10]}]]','{''属性词'': {''正向情感(情感词)'': null, ''负向情感(情感词)'': null, ''中性情感(情感词)'': null}}'
test,物美价廉 服务上乘 交易顺利 perfect,'[[{''type'': ''属性词'', ''span'': ''服务'', ''offset'': [5, 7]}, {''type'': ''正向情感(情感词)'', ''span'': ''上乘'', ''offset'': [7, 9]}], [{''type'': ''属性词'', ''span'': ''交易'', ''offset'': [10, 12]}, {''type'': ''正向情感(情感词)'', ''span'': ''顺利'', ''offset'': [12, 14]}]]','{''属性词'': {''正向情感(情感词)'': null, ''负向情感(情感词)'': null, ''中性情感(情感词)'': null}}'
赞0
踩0