开发者社区> 游客76uxpcjdrh23o> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

那个。。。我薅了一个78%的羊毛

简介: 最近在参加黑客松蚂蚁财富赛道的Text-to-SQL比赛,随时记录一些所想所感,跟大家一起分享哈
+关注继续查看

image.png


我我我,真的薅了一个 78% 的模型,俗话说,好东西不能藏着掖着,是需要和 兄弟萌 一起分享的,所以,我觉得写一篇水文,哦,不,写一篇文章给大家分享下,我 薅(bai)羊(piao)毛(le)的过程哈


image.png


事情是这样的,我在参加一个 20万奖金 的大项目!!!


image.png


image.png


传送门同时奉上

https://tianchi.aliyun.com/competition/entrance/532009/introduction?spm=5176.12281949.0.0.796f2448sfMTQo


比赛内容大概是这样

支小宝中文NL2SQL数据集采用金融领域的表格作为数据源,涵盖了基金的产品和属性,提供在此基础上的标注的Query-SQL对,希望选手们能在此基础上训练深度学习模型,将自然语言准确的转换为可查询的SQL语句。


数据集来源于支小宝智能理财助理对话机器人线上真实用户查询和基于专家模板和线上查询分布生成的金融领域数据;其中,生成的数据经过了多位标注人员的改写和修正。本次比赛基于单数据表提供10.6万+数据,其中7.8万+条标注数据作为训练集,1.2万条数据作为A榜测试集,1.6万条数据集作为B榜测试集,最终排名以B榜成绩为准。


大概意思就是,给个表格,让你训个模型,然后问你问题,你需要给这个问题正确的SQL语句。。。

其实还是 有点 复杂 的。。。需要先这样。。。再那样。。。再这样。。。然后这里再这样。。。


image.png


(转折)但是,我发现了一个可以 薅(bai)羊(piao)毛(le) 的东西!!!

最近发现个新东西 —— ModelScope,是阿里云搞的一个模型的一站式服务,里面好多模型都是 达摩院 出品的,我擦~


image.png


传送门

https://www.modelscope.cn/#/models?name=text2sql&page=1


更重要的是,里面正好就有个 中文的Text-to-SQL的模型,还是 预训练!!!,这不是撞到脸上来了吗?!~


image.png


直接上图,上链接


image.png


传送门

https://www.modelscope.cn/#/models/damo/nlp_convai_text2sql_pretrain_cn/summary


使用方式也简单,安装几行代码搞定,要是不care环境的,直接pip install就行

conda create -n modelscope python=3.7
conda activate modelscope
pip install "modelscope[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html


然后就开始下模型了

from modelscope.hub.snapshot_download import snapshot_download
# 第一个参数是我们的模型id,第二个参数./model是下载模型的目标路径
model_dir = snapshot_download('damo/nlp_convai_text2sql_pretrain_cn', cache_dir='./model')


拿到的预训练就在./model文件夹里面了~


image



image.png


然后就是。。。一顿加载搞起。。。这部分有点长,我先搞个结果给大家。。。

目前 78%,能够 排名15左右,剩下的得靠,SQL的 值的相似度 模块了,我也在搞。。。

image.png


然后,然后,然后,我我我,马上就再写一篇文章,把 所有能跑能提交到78%的整个代码发出来 ~~~~!!!!


image.png


兄弟萌,赶紧 薅(bai piao) 起来呀~!!!!

家人们,我说一个数,下载1000次~!,冲~冲~冲~


image.png

(第二篇文章已经写完,传送门:https://developer.aliyun.com/article/998875

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
一个初学者的第一次建站
文章论述了本人第一次建站的经历,以及遇到的困难、解决办法。
70 0
网站安全防护 防止网站被撸羊毛
撸羊毛借助联系发卡平台能够处理二次验证难题——黑卡的生命期是3个月~一年,撸羊毛能够联系发卡平台从新上卡亦或是申请注册前事先约好卡源在线的时间来处理二次验证难题。但这并不代表着二次验证是没用的。上小节提及卡商会反复补卡来做到收入利润最大化,因此发卡平台约好线上时间(某一大批卡源固定不动占据某些4g猫池机器设备)时,会借助提高领号成本价来确保收入。这针对作为供应商的发卡平台而言是满足收入规定的,但针对中下游撸羊毛而言领号成本费用将是原先的2~10倍,818和双11等大促主题活动时一般 还会继续再提高2~5倍。
352 0
makingcss 一个提高CSS编写效率的网站
makingcss 一个提高CSS编写效率的网站
59 0
半年-足以改变一个人
决心 今天,从当当网上买的书送到了,心情比较复杂。从小到大从没在网上买过书,而且之前书店买的大多也都是跟学习无关,而如今买的第一本书却是PS,想起来都感到惭愧。今年刚参加工作,至今为止一直都在做项目,平日上班比较忙,每周基本都加班,晚上也是9点之后回家,只因为知道自己是菜鸟、新手,只能靠时间来弥补自己能力和经验上的不足。加班累吗?从来没怎么想过,只希望以后的我会感谢现在拼命
1513 0
欣赏一个糊糊图
开发告一段落,进入细节BUG,及优化。
481 0
准备一个安全可靠的发布流程
Dubbo注册中心的发布上线有段时间常常出问题,发布注册中心就是一次冒险。 # 期间也因此吃了些故障。
915 0
一个由“有道词典”引起的前端bug
项目中有一个input元素用jquery绑定了keyup事件,不知道为什么双击也会触发keyup事件。 测试了下,这个bug只出现在少数人机器的chrome浏览器下。 这时我还以为发现在chrome巨牛逼的bug,还兴冲冲的跑去论坛发贴说:why dblclick trigger keyup?    后来查了很久才发现原来是受到有道词典的影响。
1081 0
2
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载