在云栖,一场关于数据洞察的创新实践

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
对象存储 OSS,内容安全 1000次 1年
简介: 数据驱动创新·创新鉴于未来。做好数据洞察,是鉴往知来的必备条件。阿里云将携手广大开发者,进一步完善相关技术和工具,提供更好的产品和方案,让数据洞察的应用更加广泛和深入。

2023 年 11 月 2 日,是为期三天的云栖大会的最后一天。但对于开发者谭耀华来说,则是他和他的战队一举夺得了智能运维赛一等奖和智能创作赛二等奖的第一天。

本届云栖大会上有一个关键词被反复提起:开发者。阿里云 CTO 周靖人认为,大模型目前还在演进的初级阶段。是否要自己开发、要使用何种模型,都应该由效果决定。应该站在开发者视角,给开发者工具和选择,让他们自己去选型。


而由阿里云主办,阿里云天池平台联合阿里云存储团队承办的首届数据洞察创新挑战赛,正是一场面向广大开发者的技术竞赛。经过近半年的激烈角逐,共有 10 支队伍从 5000 多支队伍中冲出重围,来到了云栖的决赛现场。

颁奖照片


代码成就万世基积沙镇海,梦想永在凌云意意气风发。对于开发者而言,数据洞察创新挑战赛不仅提供了一个展示自己技术和智慧的平台,也为 AIGC、 AIOps 领域的创新和发展提供了新的思路和方向。


一、“AI+创作”——用影像讲故事,让照片有温度


AIGC 代表着 AI 技术从感知、理解世界到生成、创造世界的跃迁,正推动人工智能迎来智能创作时代。近几年,文生文、文生图、文生视频/图生视频并行发展,这显然离不开背后的大模型。值得一提的是,大模型显著降低了开发者门槛,阿里云基础产品事业部负责人小邪坚信,有了广大开发者的支持,阿里云才能构建更为完善、完整的技术产品生态。

智能创作赛的选手依托于网盘与相册服务 PDS 技术能力,对相册中的图片进行“归纳总结”,并利用当前主流的 AIGC 技术做图片风格迁移、人像风格迁移,图像编辑等,生成了油画风、铅笔风等风格的“回忆故事”相册集和视频,展示出了数据与艺术的结合之美。


智能创作赛冠军团队“毛咕咕爱照相”的参赛选手樊雄杭,职业是一名金融风控算法工程师,同时也是一名摄影爱好者,他笑言自己是一个参加天池算法大赛 20 余次的拍照爱好者。在复赛过程中,他不仅充分发挥了一名摄影是对照片的美学理解,同时还借助图生文模型、图片质量评价模型、文本向量化模型、层次聚类算法等手段,最终实现了图片的风格迁移、标题生成、配乐类型选取以及视频的自动化生成。

而来自上海理工大学的数据新生队的熊成在参赛过程中,使用 AIGC 技术中的StableDiffusion 结合 ControlNet 实现根据用户需要可自定义进行图像风格编辑;并利用 BLIP 模型识别多图像语义并以此判断图像情感,确定需要的配乐;同时还利用图像文本结合 GPT2 实现故事扩写,并添加在相册视频中。


决赛评委代表、阿里云资深技术专家李文兆评价道,通过参赛作品的呈现,主办方看到了开发者在问题的理解、解决方案设计和实现过程中展现出的能力和创新思维。选手们不仅能够熟练运用数据分析和机器学习算法,还能结合自身的经验和专业知识对阿里云存储产品和服务加以利用,提出了优秀的解决方案。

二、“AI+运维”——自动定位故障,为“攻城狮”提效


随着业务走上云端,运维也逐步“云化”,基于微服务的架构在业务开发中扮演越来越重要的作用。在微服务系统中,业务请求(RPC)的整体延时、是否成功等和依赖的微服务调用息息相关。当线上发生业务请求变慢、失败时,工程师往往需要在各个调用节点中找到关键的节点和原因,并进行排除。


浙大观测云联合实验室团队认为,在当今信息技术领域,云原生和微服务架构成为主要趋势,提供了灵活性和可伸缩性,但随着微服务系统扩展,维护和故障排查变得复杂。多个微服务、分布式环境中的业务请求增加了故障排查难度。基于这样的实际情况,该团队提出了一种基于统计的自动故障定位算法,旨在通过数据分析和算法来自动定位产生慢请求的根本原因。该方法包括采样、预处理、统计和根因分析四个步骤,队员们详细探讨了不同的异常检测算法,其中 boxplot 算法表现出较高的性能。

来自中山大学的战队——一个队伍,在智能运维领域深耕多年,算法成果在合作企业中落地。为了对高延时 Trace 数据和错误的 Trace 进行诊断,得到对应的根因,设计了面向溯因的监控数据解析、基于分层建模的异常检测、根因定位、基于指标与追踪数据协同分析的蜕变测试反馈的流程,剖析并处理了根因定位的溯因挑战、建模挑战、反馈挑战。


阿里云资深技术专家、阿里云日志服务技术负责人简志表示,通过多维观测数据链路Trace、时序指标 Metric、日志明细 Log 进行有机融合构建体系化观测体系,同时提供丰富的业务应用视角的观测手段(包括依赖分析、性能剖析、故障排错及根因定位),实现从被动感知到主动观测的转变至关重要。

数据驱动创新·创新鉴于未来。做好数据洞察,是鉴往知来的必备条件。通过此次大赛,我们看到了参赛选手们的才华和创造力,也看到了数据洞察在各个领域的应用潜力。未来,阿里云将携手开发者,进一步完善相关技术和工具,提供更好的产品和方案,让数据洞察的应用更加广泛和深入。


附:数据洞察创新挑战赛获奖名单

智能运维赛:

一等奖:皮卡丘的皮卡

二等奖:一个队伍、浙大观测云联合实验室

三等奖:hoarz、合理想象队、畅捷数智队


智能创作赛:

一等奖:毛咕咕爱照相

二等奖:皮卡丘的皮卡、勇敢牛牛不怕困难

三等奖:数据新生、竞逐队、畅捷数智队

相关文章
|
6月前
|
大数据 BI
阿里十年大数据专家谈“云上数据中台之道”含内部PPT
从大数据的概念被正式提出,到马云老师预言人类正从IT时代走向DT时代,大数据浪潮迭起。大数据同仁共同认知的一点是,大数据会对社会创新、产业变革、业务创新及每个人的角色定位产生近乎决定性的影响。
|
存储 运维 监控
聚焦应用创新|阿里云首届数据洞察创新挑战赛正式启动
首届数据洞察创新挑战赛正式启动!本届大赛奖金池高达 20 万元,是由阿里云主办的面向广大开发者的技术竞赛,大赛将在阿里云天池平台上举办,旨在鼓励开发者利用阿里云存储产品和服务,通过“智能运维赛”和“数据管理创新赛”两个赛道,开发出创新的应用和解决方案,展示技术实力和创意思维,为行业发展和社会进步贡献力量。
549 1
|
存储 SQL 人工智能
贾扬清演讲实录:阿里云一体化大数据智能平台的演进丨2022云栖一体化大数据智能峰会
贾扬清在一体化大数据智能峰会论坛上分享立足于数据这个领域,数据和智能之间创新的火花。
贾扬清演讲实录:阿里云一体化大数据智能平台的演进丨2022云栖一体化大数据智能峰会
|
存储 运维 分布式计算
|
存储 消息中间件 分布式计算
小红书推荐大数据在阿里云上的实践
本篇内容主要分三个部分,在第一部分讲一下实时计算在推荐业务中的使用场景。第二部分讲一下小红书是怎么使用Flink的一些新的功能。第三部分主要是讲一些OLAP的实时分析的场景,以及和阿里云MC-Hologres的合作。
10277 1
小红书推荐大数据在阿里云上的实践
|
人工智能 大数据 双11
大数据专家在线
感谢您关注阿里云智能大数据&AI产品双11活动!
1955 1
大数据专家在线
|
存储 人工智能 资源调度
数智洞察丨数字化时代不再人“云”亦“云”,宝典来了!
2020年开启了一个“万物皆可云”的新时代,复杂经济系统驱动企业全面上云,企业决策者亟需启动全面上云战略,以全面上云为起点,驱动企业IT从成本中心向服务中心转型,以及实现新“四化(云化、数据化、AIoT化和移动化)”,明确全面上云到数字原生操作系统的战略愿景。
数智洞察丨数字化时代不再人“云”亦“云”,宝典来了!
|
存储 数据采集 分布式计算
连载:阿里巴巴大数据实践—实时技术
相对于离线批处理技术,流式实时处理技术作为一个非常重要的技术补充,在阿里巴巴集团内被广泛使用。
4177 0
连载:阿里巴巴大数据实践—实时技术
|
人工智能 边缘计算 Cloud Native
阿里云新品发布会周刊第82期 丨 重磅!大数据实时分析与决策&当AI遇上展会
12月23日阿里云新品发布会带您了解阿里云实时数仓如何助力企业实时决策;12月25日更有新栏目“云计算情报局”登场展现-当AI遇上展会。更多精彩内容敬请关注阿里云新品发布会!
793 0
阿里云新品发布会周刊第82期 丨 重磅!大数据实时分析与决策&当AI遇上展会
|
大数据 分布式计算 流计算
阿里巴巴高级技术专家章剑锋:大数据发展的 8 个要点
章剑锋(简锋),开源界老兵,Apache Member,曾就职于 Hortonworks,目前在阿里巴巴计算平台事业部任高级技术专家,并同时担任 Apache Tez、Livy 、Zeppelin 三个开源项目的 PMC ,以及 Apache Pig 的 Committer。
阿里巴巴高级技术专家章剑锋:大数据发展的 8 个要点