兄弟萌,我。。。终于回来了。。。
即上一篇文章写完之后,我就勤勤恳恳整理代码去了。。。
文章传送门:《那个。。。我薅了一个78%的羊毛》https://developer.aliyun.com/article/997687?spm=a2c6h.13148508.setting.14.729e4f0el8yqfk
经过了我多个艰苦奋斗、日日夜夜、不辞辛劳、月黑风高、鬼斧神工。。。的努力之后~,你猜怎么着~
我搞定了!!!
废话不多说,先直接上github链接~~
https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/sdsql
流程也比较简单,拢共分 3 步~
1. 下载代码和数据
我们只需要进入到sdsql的文件夹中操作
git clone https://github.com/AlibabaResearch/DAMO-ConvAI.git cd DAMO-ConvAI/sdsql # 下载预处理好的比赛数据wget http://binhua-poc.oss-cn-beijing.aliyuncs.com/sqlova_data.zip # 就在这个目录下解压unzip sqlova_data.zip
2. 安装ModelScope
如果想了解ModelScope,可以到官网看下,说不定还有惊喜哟~
# 不需要conda的可以忽略conda create -n modelscope python=3.7 conda activate modelscope # 直接运行安装pip install "modelscope[nlp]"-f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
3. 跑起来
需要把下面的your_git_path改为你当前的目录,例如:/Users/admin/DAMO-ConvAI/sdsql/
python train.py \ --do_train \ --bS16 \ --num_target_layers12 \ --data_dir /your_git_path/sqlova_data/ \ --output_dir /your_git_path/ant_tableqa/ \ --output_name train_dev.log \ --run_name sqlova-v1 \ --bert_path /your_git_path/star3_tiny_model/damo/nlp_convai_text2sql_pretrain_cn/
没错,就是这么简单,就可以了~!
(托儿)你可能好奇了,说好的预训练呢?说好的基座呢?说好的大规模表格预训练模型呢?
哈哈哈,这些ModelScope都已经帮你屏蔽了,实际上模型会被下载到
/your_git_path/star3_tiny_model/damo/nlp_convai_text2sql_pretrain_cn/
最后的最后,训练完成后,会出现
/your_git_path/ant_tableqa/sqlova-v1/final_test.jsonl
这个文件就是可以直接提交的文件~~~~,78%效果~~~等着你呢~
大家快去试试吧~~