山东省第二届数据应用创新创业大赛-算法赛(上)

简介: 山东省第二届数据应用创新创业大赛-算法赛(上)

山东省第二届数据应用创新创业大赛-日照分赛场-公积金贷款逾期预测


比赛链接:http://data.sd.gov.cn/cmpt/cmptDetail.html?id=26


竞赛背景


维持和发展信用关系,是保护社会经济秩序的重要前提。随着金融市场的发展,信贷业务日益增多,金融机构迫切需要了解信贷主体的信息情况,对信贷资产的安全性、信贷主体的偿债能力给与科学评价,最大限度地防范贷款逾期风险。


竞赛奖项


赛道共设置一等奖、二等奖、三等奖、优秀奖四类奖项。

  1. 一等奖:¥30,000元 ,1名
  2. 二等奖:¥15,000元 ,2名
  3. 三等奖:¥10,000元 ,3名
  4. 优秀奖:¥2,500元 ,4名


时间安排


2020年11月:举行大赛启动仪式,发布赛事信息

2020年11月—2021年3月:以线上评审形式,开展初赛、复赛

2021年3月—2021年4月:线上线下结合,开展决赛

2021年4月:举办颁奖仪式


任务


从真实场景和实际应用出发,利用个人的基本身份信息、个人的住房公积金缴存和贷款等数据信息,需要参赛者建立准确的风险控制模型,来预测用户是否会逾期还款。


提交说明:


  1. 结果

提交csv格式,编码为UTF-8,第一行为表头,如下例:

id,label

1,0.556

2,0.987

....

注:对于label字段,其中越接近0代表无逾期,越接近1代表逾期。


数据


备注:报名参赛或加入队伍后,可获取数据下载权限。

训练集提供40000名,测试集提供15000名的缴存人基本信息、缴存信息,贷款信息。选手可以下载数据,在本地进行算法调试,在比赛页面提交结果。


数据样本如下:

15.png

image


为了保证比赛的公平性,本次比赛仅允许使用官方发布的数据和标注,否则比赛成绩将被视为无效。


注:此数据测试集增加了干扰样本,这些干扰样本不参与最终分数的计算。 1.数据使用有哪些要求? 本次大赛提供的全部数据、信息等,视为公积金业务的保密信息。未经允许,任何人不可以任何形式使用、传播、披露、授权他人使用。 2、限制原则是什么? 作品必须健康、合法、无任何不良信息及商业宣传行为,不违反任何中华人民共和国有关法律。须保证原创性,不侵犯任何第三方知识产权或其他权利;

一经发现或经权利人指出,主办方将直接取消其参赛资格,主办方保留赛事解释权。


评分标准


本次比赛成绩排名根据测试集的在公积金逾期风险监控中,需要尽可能做到尽可能少的误伤和尽可能准确地探测,于是我们选择“在FPR较低时的TPR加权平均值”作为平均指标。


给定一个阀值,可根据混淆矩阵计算TPR(覆盖率)和FPR(打扰率) TPR = TP /(TP + FN) FPR = FP /(FP + TN) 其中,TP、FN、FP、TN分别为真正例、假反例、假正例、真反例。 这里的评分指标,首先计算了3个覆盖率TPR: TPR1:FPR=0.001时的TPR TPR2:FPR=0.005时的TPR TPR3:FPR=0.01时的TPR 最终成绩= 0.4 * TPR1 + 0.3 * TPR2 + 0.3 * TPR3 代码如下:

def tpr_weight_funtion(y_true,y_predict):

d = pd.DataFrame()

d['prob'] = list(y_predict)

d['y'] = list(y_true)

d = d.sort_values(['prob'], ascending=[0])

y = d.y

PosAll = pd.Series(y).value_counts()[1]

NegAll = pd.Series(y).value_counts()[0]

pCumsum = d['y'].cumsum()

nCumsum = np.arange(len(y)) - pCumsum + 1

pCumsumPer = pCumsum / PosAll

nCumsumPer = nCumsum / NegAll

TR1 = pCumsumPer[abs(nCumsumPer-0.001).idxmin()]

TR2 = pCumsumPer[abs(nCumsumPer-0.005).idxmin()]

TR3 = pCumsumPer[abs(nCumsumPer-0.01).idxmin()]

return 0.4 * TR1 + 0.3 * TR2 + 0.3 * TR3


注:

1. 每支团队每天最多提交3次。

2. 比赛采用公榜私榜,公榜成绩供参赛队伍比赛中查看,比赛结束时公布私榜。


山东省第二届数据应用创新创业大赛-临沂分赛场-供水管网压力预测


比赛链接:http://data.sd.gov.cn/cmpt/cmptDetail.html?id=24


竞赛背景


随着某新区城市规模的持续发展,该城市供水管网规模不断扩大,以供水管网压力大数据为基础,深度挖掘供水管网大数据的价值,为生态链中的供水企业提供多样的数据服务与应用,实现供水管网精细化管理和供水服务事业健康发展,提高供水管网压力预警分析能力,避免水损,保障居民用水。


竞赛奖项


赛道共设置一等奖、二等奖、三等奖、优秀奖四类奖项。

  1. 一等奖:¥30,000元,1名
  2. 二等奖:¥15,000元, 2名
  3. 三等奖:¥10,000元,3名
  4. 优秀奖:¥2,500元,4名


时间安排


2020年11月:线上启动,发布赛事信息

2020年12月—2021年2月:以线上评审形式,开展初赛、复赛

2021年3月:线上线下结合,开展决赛

2021年4月:举办颁奖仪式


任务


通过某新区供水管网的历史压力数据、天气数据和供水管网互通图,预测未来某时间点的压力数据。


数据


备注:报名参赛或加入队伍后,可获取数据下载权限。

主办方提供某新区供水管网数据,数据划分如下:

训练集:2018至2019年的30个压力监测点近两年的压力数据、2018年至2019年的天气数据,以及标明了30个压力监测点位置的供水管网互通图。

测试集:以下4段时间的每小时的压力数据、每天的天气数据,需要分别去预测对应日期每小时的压力数据。


16.png

具体数据字段描述如下:


(1)压力数据


17.png

image


(2)气象数据


18.png

image


(3)供水管网互通图


19.png

image


注1:压力监测点数值中数值为0或者负数时为非有效数值。

注2:压力数据,每小时1条数据记录;气象数据,每天1条数据记录。

注3:选手不能利用“未来的实际数据”预测“过去的数据”,例如,假设要预测2020/2/13 23:00的压力值,就不能利用这个时间点以后的真实数据进行预测,尤其需要注意气象数据的使用。


注4:天气原因会对居民用水造成影响,而居民用水情况又会对压力产生一定的影响。例如,假设某新区内管网总供水数量保持恒定,30个压力监测点都同时受居民用水量增减影响,居民用水量大,必然造成管网压力监测点数值下降,反之压力升高。


注5:本次大赛提供的全部数据、信息等,视为水务的保密信息。未经允许,任何人不可以任何形式使用、传播、披露、授权他人使用。作品必须健康、合法、无任何不良信息及商业宣传行为,不违反任何中华人民共和国有关法律。须保证原创性,不侵犯任何第三方知识产权或其他权利;一经发现或经权利人指出,主办方将直接取消其参赛资格,主办方保留赛事解释权。


评分标准


本模型依据提交的结果文件,采用均方误差MSE进行评价。

观测值actual(t),预测值forecast(t),待预测的样本数为n,计算公式如下:


20.png

image


参考代码如下:

from sklearn.metrics import mean_squared_error y_true = [0.1,0.2,0.3,0.4] y_pred = [0.2,0.2,0.2,0.3] mse = mean_squared_error(p_true, y_pred)


山东省第二届数据应用创新创业大赛-枣庄分赛场-螺母螺栓产品质量智能检测


比赛链接:http://data.sd.gov.cn/cmpt/cmptDetail.html?id=17


竞赛背景


智能制造是枣庄市优先发展的战略方向。枣庄市高新科技企业借助人工智能为工业赋能,建设智慧车间,增强工业产能,提高产品质量。本赛题需要参赛团队对成品螺母螺栓的质量进行智能检测,提高智能制造产品质检的智能化水平。


竞赛奖项


赛道共设置一等奖、二等奖、三等奖、优秀奖四类奖项。

  1. 一等奖:¥30000元,1名
  2. 二等奖:¥15000元, 2名
  3. 三等奖:¥10000元,3名
  4. 优秀奖:¥2500元,4名


时间安排


2020年11月24日:举行大赛启动仪式,发布赛事信息

2020年11月—2021年3月:以线上评审形式,开展初赛、复赛

2021年4月:线上线下结合,开展决赛

2021年4月:举办颁奖仪式


任务


建立机器学习模型,判断成品螺母质量是否达标。

注:产品质量检测标准,详见数据下载链接;简单来讲,产品允许一定程度的瑕疵。


数据


备注:报名参赛或加入队伍后,可获取数据下载权限。

训练集共有200张照片,包含100张合格产品的照片和100张张不合格产品的照片。测试集不开放,共计777张。


选手需要提交包含模型的压缩文件,在服务器端执行对测试集图片的预测。


注:


1.数据使用有哪些要求?

本次大赛提供的全部数据、信息等,视为保密信息。未经允许,任何人不可以任何形式使用、传播、披露、授权他人使用。


2、限制原则是什么?

作品必须健康、合法、无任何不良信息及商业宣传行为,不违反任何中华人民共和国有关法律。须保证原创性,不侵犯任何第三方知识产权或其他权利;一经发现或经权利人指出,主办方将直接取消其参赛资格,主办方保留赛事解释权。


评分标准


比赛采用标准的macro F1,参考代码如下:

from sklearn.metrics import f1_score

y_true = [1, 0, 1, 0]

y_pred = [1, 1, 1, 0]

score = f1_score(y_true, y_pred, average='macro')


3.2 评测及排行

本次比赛进行线上评测,评测时需要被测团队将算法源代码、模型压缩打包发送给承办方,承办方将使用新的测试集进行统一评测。评测每天每个团队只有一次提交机会。

相关文章
|
16天前
|
存储 监控 算法
员工上网行为监控中的Go语言算法:布隆过滤器的应用
在信息化高速发展的时代,企业上网行为监管至关重要。布隆过滤器作为一种高效、节省空间的概率性数据结构,适用于大规模URL查询与匹配,是实现精准上网行为管理的理想选择。本文探讨了布隆过滤器的原理及其优缺点,并展示了如何使用Go语言实现该算法,以提升企业网络管理效率和安全性。尽管存在误报等局限性,但合理配置下,布隆过滤器为企业提供了经济有效的解决方案。
60 8
员工上网行为监控中的Go语言算法:布隆过滤器的应用
|
3月前
|
存储 算法 Java
解析HashSet的工作原理,揭示Set如何利用哈希算法和equals()方法确保元素唯一性,并通过示例代码展示了其“无重复”特性的具体应用
在Java中,Set接口以其独特的“无重复”特性脱颖而出。本文通过解析HashSet的工作原理,揭示Set如何利用哈希算法和equals()方法确保元素唯一性,并通过示例代码展示了其“无重复”特性的具体应用。
69 3
|
16天前
|
存储 缓存 算法
探索企业文件管理软件:Python中的哈希表算法应用
企业文件管理软件依赖哈希表实现高效的数据管理和安全保障。哈希表通过键值映射,提供平均O(1)时间复杂度的快速访问,适用于海量文件处理。在Python中,字典类型基于哈希表实现,可用于管理文件元数据、缓存机制、版本控制及快速搜索等功能,极大提升工作效率和数据安全性。
52 0
|
2月前
|
机器学习/深度学习 人工智能 算法
探索人工智能中的强化学习:原理、算法与应用
探索人工智能中的强化学习:原理、算法与应用
|
2月前
|
机器学习/深度学习 算法 数据挖掘
C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出
本文探讨了C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出。文章还介绍了C语言在知名机器学习库中的作用,以及与Python等语言结合使用的案例,展望了其未来发展的挑战与机遇。
56 1
|
2月前
|
并行计算 算法 测试技术
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面,旨在通过综合策略提升程序性能,满足实际需求。
71 1
|
2月前
|
缓存 算法 网络协议
OSPF的路由计算算法:原理与应用
OSPF的路由计算算法:原理与应用
74 4
|
2月前
|
机器学习/深度学习 监控 算法
基于反光衣和检测算法的应用探索
本文探讨了利用机器学习和计算机视觉技术进行反光衣检测的方法,涵盖图像预处理、目标检测与分类、特征提取等关键技术。通过YOLOv5等模型的训练与优化,展示了实现高效反光衣识别的完整流程,旨在提升智能检测系统的性能,应用于交通安全、工地监控等领域。
|
2月前
|
存储 算法 网络协议
OSPF的SPF算法介绍:原理、实现与应用
OSPF的SPF算法介绍:原理、实现与应用
95 3
|
2月前
|
存储 编解码 负载均衡
数据分片算法
【10月更文挑战第25天】不同的数据分片算法适用于不同的应用场景和数据特点,在实际应用中,需要根据具体的业务需求、数据分布情况、系统性能要求等因素综合考虑,选择合适的数据分片算法,以实现数据的高效存储、查询和处理。