从阿里云峰会看一站式数据AI平台的演进

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 今年因为广州疫情爆发,没能到现场参加阿里云峰会,只能线下看直播,从云原生,数据治理到AI开发范式,智能运维,低代码开发,无不揭示了云给大家带来的价值。可以看到今年所有主题的核心都是围绕如何为开发者构建高效的范式和架构支撑软件开发迭代,这也算是回归了云的初心。

今年因为广州疫情爆发,没能到现场参加阿里云峰会,只能线下看直播,从云原生,数据治理到AI开发范式,智能运维,低代码开发,无不揭示了云给大家带来的价值。可以看到今年所有主题的核心都是围绕如何为开发者构建高效的范式和架构支撑软件开发迭代,这也算是回归了云的初心。

从阿里一站式AI平台看清MLOps

虽然这次峰会涉及的主题很多,但最让我感兴趣的还是贾老师的“云上大数据与AI开发范式的演进”,因为AI后半段是拼地是工程落地能力,如何快速并准确地完成数据治理和模型迭代不仅需要NB的算法人员和方法轮,还需要有完善基础设施,不然只能是小作坊式作业。

AI开发范式演进.png

学过近代史的都知道,小作坊的效率是永远比不过工业化革命的大工厂的,那么如何从小作坊变成高效的算法工厂呢?拆解开来,核心是三大块:

  • 数据治理
  • 算法探索
  • 流程范式

为什么是这三块呢?其实从阿里云AI平台的布局可以看到,通过大数据与AI一体化平台来推动作为一起模型训练根源的数据治理工作,通过推出快速体验的云端 Jupyter 平台为算法人员快速探索算法,和通过打通机器学习全链路的PAI平台将AI工程化能以一种标准的流程范式的形式进行快速落地。

全链路数据治理

dataworks数据治理平台.png

数据治理可以说是AI大规模落地的最大障碍也不为过。每个公司做算法工程落地地时候发现最多的工作都耗费在各种 kafka 的对接,数据集成,数据加工,数据清洗,数据核验上面,而围绕着开发效率优先的工作模式下数据体系快速腐化就变成了一个不可避免的事实了。

数据治理核心是提升数据服务的效率,将工程人员从数据的漩涡中拯救出来,而不是每天面对数据做各种低价值工作。

算法探索神器notebook

相信每个算法开发,甚至大部分 python 开发人员都使用过 jupyter notebook 这款 web IDE,可以说这款 IDE 把交互式地优势发挥到极致了,
今天贾老师提出 jupyter web server 的概念其实一点都不奇怪,不管是 google 一直在推的 colab,还是kubeflow 的 jupyter server,本质都是这样的产品,甚至jupyter server 的功能很早就作为 kubeflow 其除 pipeline 工作流以外最核心的卖点。
一个随时能使用的算法开发环境,这一定是每个算法人员的刚需,同时也是最适合和云技术结合的,利用云原生技术可以为算法人员在任何时候提供一个具有足够资源的完整开发环境,快速开始开发。这确实切入了很多算法人员的痛点。
jupyter-kfserving.png

AI流程范式

阿里云PAI平台.png

说到PAI平台,其实还瞒感慨的,因为16年的时候当时自己也带团队做过一个大数据的可视化建模平台,当时就是参照了PAI平台的界面进行的产品设计,不过这几年 PAI 平台的快速发展已经完全不是当年那个只是具有拖拉拽功能的大数据机器学习建模平台了,逐渐变成一个集可视化建模、交互式建模、弹性推理服务为一体的 MLOps 平台。
特别是和云原生的结合,让她在给开发者赋能上提供了更多地可能性,其实当年在做可视化平台的时候这个问题就暴露出来,就是完全的可视化操作在灵活性上和适应性上是很差的,这也是为什么这几年低代码平台兴起的缘故。

这里做个大胆地预测,后面阿里云 PAI 平台应该会引进 git 的版本管理,彻底将算法工程化全流程打通,通过提供全流程的高效开发为AI工程化铺路。

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
健康监测设备的技术革命:AI+物联网如何让你随时掌握健康数据?
健康监测设备的技术革命:AI+物联网如何让你随时掌握健康数据?
74 19
9.9K star!大模型原生即时通信机器人平台,这个开源项目让AI对话更智能!
"😎高稳定、🧩支持插件、🦄多模态 - 大模型原生即时通信机器人平台"
RuoYi AI:1人搞定AI中台!开源全栈式AI开发平台,快速集成大模型+RAG+支付等模块
RuoYi AI 是一个全栈式 AI 开发平台,支持本地 RAG 方案,集成多种大语言模型和多媒体功能,适合企业和个人开发者快速搭建个性化 AI 应用。
136 21
RuoYi AI:1人搞定AI中台!开源全栈式AI开发平台,快速集成大模型+RAG+支付等模块
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI技术的快速发展促使企业重新审视数据治理的重要性。当前,企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出,以数据标准为核心贯穿数据全生命周期,可有效解决治理难题。
72 15
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI Agent:构建以数据为中心的智能体
在过去一年里大模型领域主要有两大领域的热点,一个是 LLM,几乎每月速度革新,大家关心的是效果和成本。另一个是 AI Agent,大家尝试解决各个领域应用问题,大家关心的是场景和竞争力。下面我们重点分享一下 AI Agent 的趋势和实践。
如何在Python下实现摄像头|屏幕|AI视觉算法数据的RTMP直播推送
本文详细讲解了在Python环境下使用大牛直播SDK实现RTMP推流的过程。从技术背景到代码实现,涵盖Python生态优势、AI视觉算法应用、RTMP稳定性及跨平台支持等内容。通过丰富功能如音频编码、视频编码、实时预览等,结合实际代码示例,为开发者提供完整指南。同时探讨C接口转换Python时的注意事项,包括数据类型映射、内存管理、回调函数等关键点。最终总结Python在RTMP推流与AI视觉算法结合中的重要性与前景,为行业应用带来便利与革新。
通义灵码 AI 程序员-全平台AI程序员插件
人工智能正在深度融入开发流程,阿里云通义灵码AI程序员全面上线,支持VS Code与JetBrains IDEs,是国内首个真正落地的AI程序员工具。它不仅能生成代码、续写功能,还支持跨语言编程和图片生成代码。相较1.0版本,新增多项功能,模型更丰富,生成速度更快。快来体验未来开发的魅力!链接附上,欢迎探索。
69 7
阿里云 AI 搜索产品荣获 Elastic Innovation Award 2024
在新加坡 ElasticON 2025 的 Elastic 合作伙伴峰会上,阿里云 AI 搜索产品荣获 Elastic Innovation Award 2024!
更低成本、更高效、更安全!阿里云与钉钉联合推出协同办公AI解决方案
阿里云与钉钉携手推出了全新的“钉钉·AI Stack一体机”,以“低成本、高安全、零门槛”为核心,为用户提供基于钉钉,从模型部署到全员落地的AI解决方案,开启智能化办公的“一键加速”。
小鹏汽车选用阿里云PolarDB,开启AI大模型训练新时代
PolarDB-PG云原生分布式数据库不仅提供了无限的扩展能力,还借助丰富的PostgreSQL生态系统,统一了后台技术栈,极大地简化了运维工作。这种强大的组合不仅提高了系统的稳定性和性能,还为小鹏汽车大模型训练的数据管理带来了前所未有的灵活性和效率。

热门文章

最新文章