ModelScope薅羊毛(第二弹)

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 最近在参加黑客松蚂蚁财富赛道的Text-to-SQL比赛,随时记录一些所想所感,跟大家一起分享哈

image.png

兄弟萌,我。。。终于回来了。。。


即上一篇文章写完之后,我就勤勤恳恳整理代码去了。。。


文章传送门:《那个。。。我薅了一个78%的羊毛https://developer.aliyun.com/article/997687?spm=a2c6h.13148508.setting.14.729e4f0el8yqfk

image.png

经过了我多个艰苦奋斗、日日夜夜、不辞辛劳月黑风高鬼斧神工。。。的努力之后~,你猜怎么着~

我搞定了!!!


废话不多说,先直接上github链接~~

https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/sdsql

流程也比较简单,拢共分 3

image.png

1. 下载代码和数据

我们只需要进入到sdsql的文件夹中操作

git clone https://github.com/AlibabaResearch/DAMO-ConvAI.git
cd DAMO-ConvAI/sdsql
# 下载预处理好的比赛数据wget http://binhua-poc.oss-cn-beijing.aliyuncs.com/sqlova_data.zip
# 就在这个目录下解压unzip sqlova_data.zip


2. 安装ModelScope

如果想了解ModelScope,可以到官网看下,说不定还有惊喜哟~

https://www.modelscope.cn/#/models

# 不需要conda的可以忽略conda create -n modelscope python=3.7
conda activate modelscope
# 直接运行安装pip install "modelscope[nlp]"-f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html


3. 跑起来

需要把下面的your_git_path改为你当前的目录,例如:/Users/admin/DAMO-ConvAI/sdsql/

python train.py \
--do_train \
--bS16 \
--num_target_layers12 \
--data_dir /your_git_path/sqlova_data/ \
--output_dir /your_git_path/ant_tableqa/ \
--output_name train_dev.log \
--run_name sqlova-v1 \
--bert_path /your_git_path/star3_tiny_model/damo/nlp_convai_text2sql_pretrain_cn/



没错,就是这么简单,就可以了~!

image.png

托儿)你可能好奇了,说好的预训练呢?说好的基座呢?说好的大规模表格预训练模型呢?

哈哈哈,这些ModelScope都已经帮你屏蔽了,实际上模型会被下载到

/your_git_path/star3_tiny_model/damo/nlp_convai_text2sql_pretrain_cn/

最后的最后,训练完成后,会出现

/your_git_path/ant_tableqa/sqlova-v1/final_test.jsonl


这个文件就是可以直接提交的文件~~~~,78%效果~~~等着你呢~

大家快去试试吧~~

image.png

相关文章
|
6月前
|
数据安全/隐私保护
基于AutoJs实现的薅羊毛专业版大更新
基于AutoJs实现的薅羊毛专业版大更新
63 0
|
6月前
|
JavaScript 前端开发 数据安全/隐私保护
薅羊毛第三十七次更新
薅羊毛第三十七次更新
65 1
薅羊毛第三十七次更新
|
6月前
|
API
薅羊毛第三十八次更新
薅羊毛第三十八次更新
31 1
|
6月前
|
Web App开发 编解码
薅羊毛第三十九次更新
薅羊毛第三十九次更新
59 2
|
6月前
|
缓存
薅羊毛专业版第十三次更新
薅羊毛专业版第十三次更新
72 1
|
6月前
|
数据安全/隐私保护
基于AutoJs实现的薅羊毛专业版又一次大更新
基于AutoJs实现的薅羊毛专业版又一次大更新
68 0
基于AutoJs实现的薅羊毛专业版又一次大更新
|
6月前
|
Web App开发 编解码
薅羊毛专业版第四十一次更新
薅羊毛专业版第四十一次更新
22 0
|
6月前
|
JSON 缓存 Android开发
薅羊毛专业版第三十四次更新
薅羊毛专业版第三十四次更新
35 0
|
6月前
|
Android开发
薅羊毛专业版第三十六次更新
薅羊毛专业版第三十六次更新
39 0
|
6月前
薅羊毛第二十五次更新---薅羊毛专业版框架大升级
薅羊毛第二十五次更新---薅羊毛专业版框架大升级
36 0