山东省第二届数据应用创新创业大赛-算法赛(上)

简介: 山东省第二届数据应用创新创业大赛-算法赛(上)

山东省第二届数据应用创新创业大赛-日照分赛场-公积金贷款逾期预测


比赛链接:http://data.sd.gov.cn/cmpt/cmptDetail.html?id=26


竞赛背景


维持和发展信用关系,是保护社会经济秩序的重要前提。随着金融市场的发展,信贷业务日益增多,金融机构迫切需要了解信贷主体的信息情况,对信贷资产的安全性、信贷主体的偿债能力给与科学评价,最大限度地防范贷款逾期风险。


竞赛奖项


赛道共设置一等奖、二等奖、三等奖、优秀奖四类奖项。

  1. 一等奖:¥30,000元 ,1名
  2. 二等奖:¥15,000元 ,2名
  3. 三等奖:¥10,000元 ,3名
  4. 优秀奖:¥2,500元 ,4名


时间安排


2020年11月:举行大赛启动仪式,发布赛事信息

2020年11月—2021年3月:以线上评审形式,开展初赛、复赛

2021年3月—2021年4月:线上线下结合,开展决赛

2021年4月:举办颁奖仪式


任务


从真实场景和实际应用出发,利用个人的基本身份信息、个人的住房公积金缴存和贷款等数据信息,需要参赛者建立准确的风险控制模型,来预测用户是否会逾期还款。


提交说明:


  1. 结果

提交csv格式,编码为UTF-8,第一行为表头,如下例:

id,label

1,0.556

2,0.987

....

注:对于label字段,其中越接近0代表无逾期,越接近1代表逾期。


数据


备注:报名参赛或加入队伍后,可获取数据下载权限。

训练集提供40000名,测试集提供15000名的缴存人基本信息、缴存信息,贷款信息。选手可以下载数据,在本地进行算法调试,在比赛页面提交结果。


数据样本如下:

15.png

image


为了保证比赛的公平性,本次比赛仅允许使用官方发布的数据和标注,否则比赛成绩将被视为无效。


注:此数据测试集增加了干扰样本,这些干扰样本不参与最终分数的计算。 1.数据使用有哪些要求? 本次大赛提供的全部数据、信息等,视为公积金业务的保密信息。未经允许,任何人不可以任何形式使用、传播、披露、授权他人使用。 2、限制原则是什么? 作品必须健康、合法、无任何不良信息及商业宣传行为,不违反任何中华人民共和国有关法律。须保证原创性,不侵犯任何第三方知识产权或其他权利;

一经发现或经权利人指出,主办方将直接取消其参赛资格,主办方保留赛事解释权。


评分标准


本次比赛成绩排名根据测试集的在公积金逾期风险监控中,需要尽可能做到尽可能少的误伤和尽可能准确地探测,于是我们选择“在FPR较低时的TPR加权平均值”作为平均指标。


给定一个阀值,可根据混淆矩阵计算TPR(覆盖率)和FPR(打扰率) TPR = TP /(TP + FN) FPR = FP /(FP + TN) 其中,TP、FN、FP、TN分别为真正例、假反例、假正例、真反例。 这里的评分指标,首先计算了3个覆盖率TPR: TPR1:FPR=0.001时的TPR TPR2:FPR=0.005时的TPR TPR3:FPR=0.01时的TPR 最终成绩= 0.4 * TPR1 + 0.3 * TPR2 + 0.3 * TPR3 代码如下:

def tpr_weight_funtion(y_true,y_predict):

d = pd.DataFrame()

d['prob'] = list(y_predict)

d['y'] = list(y_true)

d = d.sort_values(['prob'], ascending=[0])

y = d.y

PosAll = pd.Series(y).value_counts()[1]

NegAll = pd.Series(y).value_counts()[0]

pCumsum = d['y'].cumsum()

nCumsum = np.arange(len(y)) - pCumsum + 1

pCumsumPer = pCumsum / PosAll

nCumsumPer = nCumsum / NegAll

TR1 = pCumsumPer[abs(nCumsumPer-0.001).idxmin()]

TR2 = pCumsumPer[abs(nCumsumPer-0.005).idxmin()]

TR3 = pCumsumPer[abs(nCumsumPer-0.01).idxmin()]

return 0.4 * TR1 + 0.3 * TR2 + 0.3 * TR3


注:

1. 每支团队每天最多提交3次。

2. 比赛采用公榜私榜,公榜成绩供参赛队伍比赛中查看,比赛结束时公布私榜。


山东省第二届数据应用创新创业大赛-临沂分赛场-供水管网压力预测


比赛链接:http://data.sd.gov.cn/cmpt/cmptDetail.html?id=24


竞赛背景


随着某新区城市规模的持续发展,该城市供水管网规模不断扩大,以供水管网压力大数据为基础,深度挖掘供水管网大数据的价值,为生态链中的供水企业提供多样的数据服务与应用,实现供水管网精细化管理和供水服务事业健康发展,提高供水管网压力预警分析能力,避免水损,保障居民用水。


竞赛奖项


赛道共设置一等奖、二等奖、三等奖、优秀奖四类奖项。

  1. 一等奖:¥30,000元,1名
  2. 二等奖:¥15,000元, 2名
  3. 三等奖:¥10,000元,3名
  4. 优秀奖:¥2,500元,4名


时间安排


2020年11月:线上启动,发布赛事信息

2020年12月—2021年2月:以线上评审形式,开展初赛、复赛

2021年3月:线上线下结合,开展决赛

2021年4月:举办颁奖仪式


任务


通过某新区供水管网的历史压力数据、天气数据和供水管网互通图,预测未来某时间点的压力数据。


数据


备注:报名参赛或加入队伍后,可获取数据下载权限。

主办方提供某新区供水管网数据,数据划分如下:

训练集:2018至2019年的30个压力监测点近两年的压力数据、2018年至2019年的天气数据,以及标明了30个压力监测点位置的供水管网互通图。

测试集:以下4段时间的每小时的压力数据、每天的天气数据,需要分别去预测对应日期每小时的压力数据。


16.png

具体数据字段描述如下:


(1)压力数据


17.png

image


(2)气象数据


18.png

image


(3)供水管网互通图


19.png

image


注1:压力监测点数值中数值为0或者负数时为非有效数值。

注2:压力数据,每小时1条数据记录;气象数据,每天1条数据记录。

注3:选手不能利用“未来的实际数据”预测“过去的数据”,例如,假设要预测2020/2/13 23:00的压力值,就不能利用这个时间点以后的真实数据进行预测,尤其需要注意气象数据的使用。


注4:天气原因会对居民用水造成影响,而居民用水情况又会对压力产生一定的影响。例如,假设某新区内管网总供水数量保持恒定,30个压力监测点都同时受居民用水量增减影响,居民用水量大,必然造成管网压力监测点数值下降,反之压力升高。


注5:本次大赛提供的全部数据、信息等,视为水务的保密信息。未经允许,任何人不可以任何形式使用、传播、披露、授权他人使用。作品必须健康、合法、无任何不良信息及商业宣传行为,不违反任何中华人民共和国有关法律。须保证原创性,不侵犯任何第三方知识产权或其他权利;一经发现或经权利人指出,主办方将直接取消其参赛资格,主办方保留赛事解释权。


评分标准


本模型依据提交的结果文件,采用均方误差MSE进行评价。

观测值actual(t),预测值forecast(t),待预测的样本数为n,计算公式如下:


20.png

image


参考代码如下:

from sklearn.metrics import mean_squared_error y_true = [0.1,0.2,0.3,0.4] y_pred = [0.2,0.2,0.2,0.3] mse = mean_squared_error(p_true, y_pred)


山东省第二届数据应用创新创业大赛-枣庄分赛场-螺母螺栓产品质量智能检测


比赛链接:http://data.sd.gov.cn/cmpt/cmptDetail.html?id=17


竞赛背景


智能制造是枣庄市优先发展的战略方向。枣庄市高新科技企业借助人工智能为工业赋能,建设智慧车间,增强工业产能,提高产品质量。本赛题需要参赛团队对成品螺母螺栓的质量进行智能检测,提高智能制造产品质检的智能化水平。


竞赛奖项


赛道共设置一等奖、二等奖、三等奖、优秀奖四类奖项。

  1. 一等奖:¥30000元,1名
  2. 二等奖:¥15000元, 2名
  3. 三等奖:¥10000元,3名
  4. 优秀奖:¥2500元,4名


时间安排


2020年11月24日:举行大赛启动仪式,发布赛事信息

2020年11月—2021年3月:以线上评审形式,开展初赛、复赛

2021年4月:线上线下结合,开展决赛

2021年4月:举办颁奖仪式


任务


建立机器学习模型,判断成品螺母质量是否达标。

注:产品质量检测标准,详见数据下载链接;简单来讲,产品允许一定程度的瑕疵。


数据


备注:报名参赛或加入队伍后,可获取数据下载权限。

训练集共有200张照片,包含100张合格产品的照片和100张张不合格产品的照片。测试集不开放,共计777张。


选手需要提交包含模型的压缩文件,在服务器端执行对测试集图片的预测。


注:


1.数据使用有哪些要求?

本次大赛提供的全部数据、信息等,视为保密信息。未经允许,任何人不可以任何形式使用、传播、披露、授权他人使用。


2、限制原则是什么?

作品必须健康、合法、无任何不良信息及商业宣传行为,不违反任何中华人民共和国有关法律。须保证原创性,不侵犯任何第三方知识产权或其他权利;一经发现或经权利人指出,主办方将直接取消其参赛资格,主办方保留赛事解释权。


评分标准


比赛采用标准的macro F1,参考代码如下:

from sklearn.metrics import f1_score

y_true = [1, 0, 1, 0]

y_pred = [1, 1, 1, 0]

score = f1_score(y_true, y_pred, average='macro')


3.2 评测及排行

本次比赛进行线上评测,评测时需要被测团队将算法源代码、模型压缩打包发送给承办方,承办方将使用新的测试集进行统一评测。评测每天每个团队只有一次提交机会。

相关文章
|
28天前
|
存储 算法 Java
解析HashSet的工作原理,揭示Set如何利用哈希算法和equals()方法确保元素唯一性,并通过示例代码展示了其“无重复”特性的具体应用
在Java中,Set接口以其独特的“无重复”特性脱颖而出。本文通过解析HashSet的工作原理,揭示Set如何利用哈希算法和equals()方法确保元素唯一性,并通过示例代码展示了其“无重复”特性的具体应用。
41 3
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的优化算法及其应用
【10月更文挑战第8天】 本文将探讨深度学习中常用的优化算法,包括梯度下降法、Adam和RMSProp等,介绍这些算法的基本原理与应用场景。通过实例分析,帮助读者更好地理解和应用这些优化算法,提高深度学习模型的训练效率与性能。
138 63
|
15天前
|
存储 编解码 负载均衡
数据分片算法
【10月更文挑战第25天】不同的数据分片算法适用于不同的应用场景和数据特点,在实际应用中,需要根据具体的业务需求、数据分布情况、系统性能要求等因素综合考虑,选择合适的数据分片算法,以实现数据的高效存储、查询和处理。
|
12天前
|
机器学习/深度学习 JSON 算法
二叉树遍历算法的应用场景有哪些?
【10月更文挑战第29天】二叉树遍历算法作为一种基础而重要的算法,在许多领域都有着不可或缺的应用,它为解决各种复杂的问题提供了有效的手段和思路。随着计算机科学的不断发展,二叉树遍历算法也在不断地被优化和扩展,以适应新的应用场景和需求。
22 0
|
15天前
|
存储 缓存 算法
分布式缓存有哪些常用的数据分片算法?
【10月更文挑战第25天】在实际应用中,需要根据具体的业务需求、数据特征以及系统的可扩展性要求等因素综合考虑,选择合适的数据分片算法,以实现分布式缓存的高效运行和数据的合理分布。
|
23天前
|
存储 算法 搜索推荐
这些算法在实际应用中有哪些具体案例呢
【10月更文挑战第19天】这些算法在实际应用中有哪些具体案例呢
26 1
|
28天前
|
机器学习/深度学习 人工智能 算法
"拥抱AI规模化浪潮:从数据到算法,解锁未来无限可能,你准备好迎接这场技术革命了吗?"
【10月更文挑战第14天】本文探讨了AI规模化的重要性和挑战,涵盖数据、算法、算力和应用场景等方面。通过使用Python和TensorFlow的示例代码,展示了如何训练并应用一个基本的AI模型进行图像分类,强调了AI规模化在各行业的广泛应用前景。
29 5
|
29天前
|
机器学习/深度学习 人工智能 算法
[大语言模型-算法优化] 微调技术-LoRA算法原理及优化应用详解
[大语言模型-算法优化] 微调技术-LoRA算法原理及优化应用详解
68 0
[大语言模型-算法优化] 微调技术-LoRA算法原理及优化应用详解
|
1月前
|
算法 安全 物联网
如何应用SM2算法进行身份认证
【10月更文挑战第5天】如何应用SM2算法进行身份认证
58 1
|
1月前
|
存储 算法 安全
SM2算法的应用场景有哪些?
【10月更文挑战第5天】SM2算法的应用场景有哪些?
67 1