【阅读原文】戳:1758支队伍参赛,第三届阿里云磐久智维算法大赛圆满落幕
5月27日,第三届阿里云磐久智维算法大赛总决赛圆满落幕。大赛自2月25日启动,历时三个月,吸引了来自全球21个国家和地区、1758支队伍、2622名选手参赛。相比前两届大赛,本届大赛的规模、难度和挑战在不断升级。最终有6支队伍脱颖而出,参加线下总决赛。经过激烈的角逐,来自东华大学、中南大学和南京农业大学的联合组队获得冠军!
云计算关系到人们生活的方方面面,云计算所依赖的超大规模服务器一旦出现规模性故障,将带来灾难性的损失。关键日志则是技术人员排查根因,对症下药的重要依据。本次大赛开放大量不同类别的服务器运行日志,这些日志反应了服务器运行过程中各类部件的状态,能够在出现服务器故障时用来快速的定位出故障所在,这对于高效的修复故障、避免维修时间的浪费、降低服务器换件成本、提升系统可用性,优化用户体验甚至减少客户投诉都至关重要。
本赛题需要选手通过日志分析,将目标服务器归类到正确的故障类别(赛题共设置了4类候选类别,分别为“无故障、cpu本体故障、memory本体故障和其他部件故障”)。然而要准确的识别出故障根因并非易事,需要创新的思维,细致的分析,需解决数据噪声、正负样本不均衡、非结构化文本处理等技术问题,同时也要保障诊断算法长期稳定有效。这对于选手是个不小的挑战。
在决赛致辞中
阿里云基础设施智能运维负责人赵晓雪表示:
三年前,阿里巴巴开始举办智能运维算法大赛,初衷是想用智能化方法解决传统运维的难题。2020年首届比赛开启了对工业级大规模生产环境下的硬盘故障预测;2021年,以“大规模内存故障预测”为题,进一步促进了智能运维生态圈的共建;2022年,大赛以“根因诊断”为赛题,探讨根因诊断的新思路。我们希望通过产、学、研的结合,促进智能运维的创新发展,并期望把产出的优秀方案,贡献为整个社会都可用的优质资源。
阿里云服务器固件研发负责人李羿表示:
向服务器各类日志要价值,需要借助算法的能力,将整体的分析效果最大化。服务器固件整个行业已发展20多年,业内各界都在积极参与到行业发展和开源项目建设,国际开源固件每年组织一次会议,国内固件技术创新联盟在2021年5月成立,阿里是唯一的互联网单位,阿里希望通过标准的、开源的、国际的力量,把国内整体的基础技术进一步提升到新台阶。
随后6支决赛队伍分别进行了答辩,从基于Drain的日志模板提取,基于tfidf的关键词识别,到w2v的词嵌入、多时间窗口的统计特征构建,再到LightGBM、CatBoost、LSTM等机器学习算法,选手们向大家展示了多种多样的创新方法以及对赛题和技术的深入理解,呈现了异常激烈精彩的答辩会。
最后,各位专家评委也对本届大赛做了总结发言,纷纷表达了对选手们的肯定和对未来的期许,希望能持续的利用好比赛的平台,加强交流,共同促进产业发展。
阿里云基础设施智能运维算法负责人 刘炯宙
选手们在特征分析,机器学习方面的技术都非常优秀,做了很多很有价值的探索和应用,智能运维技术的发展离不开学界的努力和贡献。
除此之外,要解决好问题,也离不开特定的领域知识的加持,比如服务器的专业知识,业务运营的模式理解等。阿里会持续的为行业发展贡献真实的工业应用数据和知识,也期待大家多到工业界看看,共同促进智能运维行业发展。
西安交通大学教授 王平辉
很感谢阿里云提供这样一个平台,今天看到了很多优秀的选手,优秀的方案。实际上从20年第一届比赛开始,我就很关注,我们有针对阿里开放的数据做了很多研究,也做出了一些成果。智能运维正处在高速发展的阶段,这个领域对场景的依赖性很高,非常需要工业界的真实场景和数据,我们很期待有更多的人参与进来,解决更多的实际问题,让我们的技术产生价值。
香港中文大学教授 Patrick Lee
创办比赛,开放数据具有很好的工业价值和学术价值,今天的选手也很优秀,我虽然是评委但也收获学习了很多。感谢大家,感谢阿里云提供这样一个平台。在我们做学术的过程中,最缺乏的就是真实的产业数据,希望阿里能持续把这类比赛举办下去,也希望选手们能加强交流,持续在这个领域发展深耕。
阿里云基础设施智能运维负责人 赵晓雪
今天各支队伍表现很精彩,每个团队都有自己的特点,有的对业务的理解很深入,有的挖掘了非常丰富的特征,还有的使用了精妙设计的算法模型。这些不同的闪光点凸显出大家的技术能力,也使我们每个人都收获良多。
如果用工业界的眼光来看,我们在做选型时,考虑的方面会比较综合,比较有代表性的是我们会寻求用最低的成本解决复杂的问题,在方案设计上考虑投入产生比。很高兴看到今天有很多方案考虑到计算性能、资源消耗,都有从更多的维度来解决问题。很欣慰的看到学术界和工业界在彼此融合,这使得我们对未来更加确信。
另一方面,把纯粹基于数据的方案和专业领域的特点、知识做深度结合,将领域知识和算法搭配起来,效果会更好。智能运维是一个很大的课题,希望我们这一平台能够促进产学研的更好结合,让大家能够碰撞出更多更有价值的火花。
我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。
欢迎关注 “阿里云基础设施”同名微信、微博、知乎
获取关于我们的更多信息~