在云栖,一场关于数据洞察的创新实践

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
云备份 Cloud Backup,100GB 3个月
简介: 数据驱动创新·创新鉴于未来。做好数据洞察,是鉴往知来的必备条件。阿里云将携手广大开发者,进一步完善相关技术和工具,提供更好的产品和方案,让数据洞察的应用更加广泛和深入。

2023 年 11 月 2 日,是为期三天的云栖大会的最后一天。但对于开发者谭耀华来说,则是他和他的战队一举夺得了智能运维赛一等奖和智能创作赛二等奖的第一天。

本届云栖大会上有一个关键词被反复提起:开发者。阿里云 CTO 周靖人认为,大模型目前还在演进的初级阶段。是否要自己开发、要使用何种模型,都应该由效果决定。应该站在开发者视角,给开发者工具和选择,让他们自己去选型。


而由阿里云主办,阿里云天池平台联合阿里云存储团队承办的首届数据洞察创新挑战赛,正是一场面向广大开发者的技术竞赛。经过近半年的激烈角逐,共有 10 支队伍从 5000 多支队伍中冲出重围,来到了云栖的决赛现场。

颁奖照片


代码成就万世基积沙镇海,梦想永在凌云意意气风发。对于开发者而言,数据洞察创新挑战赛不仅提供了一个展示自己技术和智慧的平台,也为 AIGC、 AIOps 领域的创新和发展提供了新的思路和方向。


一、“AI+创作”——用影像讲故事,让照片有温度


AIGC 代表着 AI 技术从感知、理解世界到生成、创造世界的跃迁,正推动人工智能迎来智能创作时代。近几年,文生文、文生图、文生视频/图生视频并行发展,这显然离不开背后的大模型。值得一提的是,大模型显著降低了开发者门槛,阿里云基础产品事业部负责人小邪坚信,有了广大开发者的支持,阿里云才能构建更为完善、完整的技术产品生态。

智能创作赛的选手依托于网盘与相册服务 PDS 技术能力,对相册中的图片进行“归纳总结”,并利用当前主流的 AIGC 技术做图片风格迁移、人像风格迁移,图像编辑等,生成了油画风、铅笔风等风格的“回忆故事”相册集和视频,展示出了数据与艺术的结合之美。


智能创作赛冠军团队“毛咕咕爱照相”的参赛选手樊雄杭,职业是一名金融风控算法工程师,同时也是一名摄影爱好者,他笑言自己是一个参加天池算法大赛 20 余次的拍照爱好者。在复赛过程中,他不仅充分发挥了一名摄影是对照片的美学理解,同时还借助图生文模型、图片质量评价模型、文本向量化模型、层次聚类算法等手段,最终实现了图片的风格迁移、标题生成、配乐类型选取以及视频的自动化生成。

而来自上海理工大学的数据新生队的熊成在参赛过程中,使用 AIGC 技术中的StableDiffusion 结合 ControlNet 实现根据用户需要可自定义进行图像风格编辑;并利用 BLIP 模型识别多图像语义并以此判断图像情感,确定需要的配乐;同时还利用图像文本结合 GPT2 实现故事扩写,并添加在相册视频中。


决赛评委代表、阿里云资深技术专家李文兆评价道,通过参赛作品的呈现,主办方看到了开发者在问题的理解、解决方案设计和实现过程中展现出的能力和创新思维。选手们不仅能够熟练运用数据分析和机器学习算法,还能结合自身的经验和专业知识对阿里云存储产品和服务加以利用,提出了优秀的解决方案。

二、“AI+运维”——自动定位故障,为“攻城狮”提效


随着业务走上云端,运维也逐步“云化”,基于微服务的架构在业务开发中扮演越来越重要的作用。在微服务系统中,业务请求(RPC)的整体延时、是否成功等和依赖的微服务调用息息相关。当线上发生业务请求变慢、失败时,工程师往往需要在各个调用节点中找到关键的节点和原因,并进行排除。


浙大观测云联合实验室团队认为,在当今信息技术领域,云原生和微服务架构成为主要趋势,提供了灵活性和可伸缩性,但随着微服务系统扩展,维护和故障排查变得复杂。多个微服务、分布式环境中的业务请求增加了故障排查难度。基于这样的实际情况,该团队提出了一种基于统计的自动故障定位算法,旨在通过数据分析和算法来自动定位产生慢请求的根本原因。该方法包括采样、预处理、统计和根因分析四个步骤,队员们详细探讨了不同的异常检测算法,其中 boxplot 算法表现出较高的性能。

来自中山大学的战队——一个队伍,在智能运维领域深耕多年,算法成果在合作企业中落地。为了对高延时 Trace 数据和错误的 Trace 进行诊断,得到对应的根因,设计了面向溯因的监控数据解析、基于分层建模的异常检测、根因定位、基于指标与追踪数据协同分析的蜕变测试反馈的流程,剖析并处理了根因定位的溯因挑战、建模挑战、反馈挑战。


阿里云资深技术专家、阿里云日志服务技术负责人简志表示,通过多维观测数据链路Trace、时序指标 Metric、日志明细 Log 进行有机融合构建体系化观测体系,同时提供丰富的业务应用视角的观测手段(包括依赖分析、性能剖析、故障排错及根因定位),实现从被动感知到主动观测的转变至关重要。

数据驱动创新·创新鉴于未来。做好数据洞察,是鉴往知来的必备条件。通过此次大赛,我们看到了参赛选手们的才华和创造力,也看到了数据洞察在各个领域的应用潜力。未来,阿里云将携手开发者,进一步完善相关技术和工具,提供更好的产品和方案,让数据洞察的应用更加广泛和深入。


附:数据洞察创新挑战赛获奖名单

智能运维赛:

一等奖:皮卡丘的皮卡

二等奖:一个队伍、浙大观测云联合实验室

三等奖:hoarz、合理想象队、畅捷数智队


智能创作赛:

一等奖:毛咕咕爱照相

二等奖:皮卡丘的皮卡、勇敢牛牛不怕困难

三等奖:数据新生、竞逐队、畅捷数智队

相关文章
|
存储 运维 监控
聚焦应用创新|阿里云首届数据洞察创新挑战赛正式启动
首届数据洞察创新挑战赛正式启动!本届大赛奖金池高达 20 万元,是由阿里云主办的面向广大开发者的技术竞赛,大赛将在阿里云天池平台上举办,旨在鼓励开发者利用阿里云存储产品和服务,通过“智能运维赛”和“数据管理创新赛”两个赛道,开发出创新的应用和解决方案,展示技术实力和创意思维,为行业发展和社会进步贡献力量。
557 1
|
机器学习/深度学习 人工智能 边缘计算
Gartner发布2021年一定要关注的十大数据和分析技术趋势
Gartner发布2021年一定要关注的十大数据和分析技术趋势
80 0
|
存储 人工智能 边缘计算
独家首发 | 阿里巴巴新基建洞察系列——《5G智能经济应用场景》研究报告正式发布
大家有没有注意到,5G全球商用其实已经超过1年了,中国也超过半年了,但是大家似乎身边并没有感受到5G带来的变化,甚至连5G手机都看不到几款。5G真的会引爆行业应用和机遇吗?新一轮数字基建驱动下,5G行业应用将往什么方向走?《阿里巴巴新基建洞察之5G智能经济应用场景》带你解锁5G时代应用场景。
9833 0
独家首发 | 阿里巴巴新基建洞察系列——《5G智能经济应用场景》研究报告正式发布
|
人工智能 大数据
Databricks数据洞察公开课!精彩案例,成功实践,技术解读都在这里!
欢迎观看Databricks数据洞察公开课,Databricks专注三个场景:🤗大数据和AI一体化,数据/模型开发与计算;😄商业版Delta Lake 流批一体解决方案;😊全托管、高性能spark,优于开源数十倍。此公开课从2021年1月开始,每月更新课程视频,希望帮助企业快速搭建数智基建。
752 0
Databricks数据洞察公开课!精彩案例,成功实践,技术解读都在这里!
|
人工智能 边缘计算 数据挖掘
阿里数据:2020七大数据技术领域趋势展望
2020年,每一个技术领域,也有自己的一个关键事件回顾或一个关键节点畅想。回望过去,在数据技术领域发生了许多有意义的标志性事件。全球数据量在2019达41ZB,2020年预估到50ZB,这是国际权威机构Statista的统计和预测,这个数据量可以说大得惊人,也对数据技术提出了更高的要求。
1718 0
阿里数据:2020七大数据技术领域趋势展望
|
新零售 Web App开发 监控
《企业大数据实践路线》之企业大数据的现状与痛点
大数据与云计算的关系就像一枚硬币的正反面一样密不可分,没有云计算就没有大数据。
1916 0