从阿里云峰会看一站式数据AI平台的演进

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 今年因为广州疫情爆发,没能到现场参加阿里云峰会,只能线下看直播,从云原生,数据治理到AI开发范式,智能运维,低代码开发,无不揭示了云给大家带来的价值。可以看到今年所有主题的核心都是围绕如何为开发者构建高效的范式和架构支撑软件开发迭代,这也算是回归了云的初心。

今年因为广州疫情爆发,没能到现场参加阿里云峰会,只能线下看直播,从云原生,数据治理到AI开发范式,智能运维,低代码开发,无不揭示了云给大家带来的价值。可以看到今年所有主题的核心都是围绕如何为开发者构建高效的范式和架构支撑软件开发迭代,这也算是回归了云的初心。

从阿里一站式AI平台看清MLOps

虽然这次峰会涉及的主题很多,但最让我感兴趣的还是贾老师的“云上大数据与AI开发范式的演进”,因为AI后半段是拼地是工程落地能力,如何快速并准确地完成数据治理和模型迭代不仅需要NB的算法人员和方法轮,还需要有完善基础设施,不然只能是小作坊式作业。

AI开发范式演进.png

学过近代史的都知道,小作坊的效率是永远比不过工业化革命的大工厂的,那么如何从小作坊变成高效的算法工厂呢?拆解开来,核心是三大块:

  • 数据治理
  • 算法探索
  • 流程范式

为什么是这三块呢?其实从阿里云AI平台的布局可以看到,通过大数据与AI一体化平台来推动作为一起模型训练根源的数据治理工作,通过推出快速体验的云端 Jupyter 平台为算法人员快速探索算法,和通过打通机器学习全链路的PAI平台将AI工程化能以一种标准的流程范式的形式进行快速落地。

全链路数据治理

dataworks数据治理平台.png

数据治理可以说是AI大规模落地的最大障碍也不为过。每个公司做算法工程落地地时候发现最多的工作都耗费在各种 kafka 的对接,数据集成,数据加工,数据清洗,数据核验上面,而围绕着开发效率优先的工作模式下数据体系快速腐化就变成了一个不可避免的事实了。

数据治理核心是提升数据服务的效率,将工程人员从数据的漩涡中拯救出来,而不是每天面对数据做各种低价值工作。

算法探索神器notebook

相信每个算法开发,甚至大部分 python 开发人员都使用过 jupyter notebook 这款 web IDE,可以说这款 IDE 把交互式地优势发挥到极致了,
今天贾老师提出 jupyter web server 的概念其实一点都不奇怪,不管是 google 一直在推的 colab,还是kubeflow 的 jupyter server,本质都是这样的产品,甚至jupyter server 的功能很早就作为 kubeflow 其除 pipeline 工作流以外最核心的卖点。
一个随时能使用的算法开发环境,这一定是每个算法人员的刚需,同时也是最适合和云技术结合的,利用云原生技术可以为算法人员在任何时候提供一个具有足够资源的完整开发环境,快速开始开发。这确实切入了很多算法人员的痛点。
jupyter-kfserving.png

AI流程范式

阿里云PAI平台.png

说到PAI平台,其实还瞒感慨的,因为16年的时候当时自己也带团队做过一个大数据的可视化建模平台,当时就是参照了PAI平台的界面进行的产品设计,不过这几年 PAI 平台的快速发展已经完全不是当年那个只是具有拖拉拽功能的大数据机器学习建模平台了,逐渐变成一个集可视化建模、交互式建模、弹性推理服务为一体的 MLOps 平台。
特别是和云原生的结合,让她在给开发者赋能上提供了更多地可能性,其实当年在做可视化平台的时候这个问题就暴露出来,就是完全的可视化操作在灵活性上和适应性上是很差的,这也是为什么这几年低代码平台兴起的缘故。

这里做个大胆地预测,后面阿里云 PAI 平台应该会引进 git 的版本管理,彻底将算法工程化全流程打通,通过提供全流程的高效开发为AI工程化铺路。

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
|
15天前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
13天前
|
机器学习/深度学习 人工智能 算法
整合海量公共数据,谷歌开源AI统计学专家DataGemma
【10月更文挑战第28天】谷歌近期开源了DataGemma,一款AI统计学专家工具,旨在帮助用户轻松整合和利用海量公共数据。DataGemma不仅提供便捷的数据访问和处理功能,还具备强大的数据分析能力,支持描述性统计、回归分析和聚类分析等。其开源性质和广泛的数据来源使其成为AI研究和应用的重要工具,有助于加速研究进展和推动数据共享。
42 6
|
6天前
|
人工智能 自然语言处理 关系型数据库
从数据到智能,一站式带你了解 Data+AI 精选解决方案、特惠权益
从 Data+AI 精选解决方案、特惠权益等,一站式带你了解阿里云瑶池数据库经典的AI产品服务与实践。
|
14天前
|
存储 人工智能 调度
阿里云吴结生:高性能计算持续创新,响应数据+AI时代的多元化负载需求
在数字化转型的大潮中,每家公司都在积极探索如何利用数据驱动业务增长,而AI技术的快速发展更是加速了这一进程。
|
9天前
|
存储 人工智能 大数据
阿里云吴结生:高性能计算持续创新,响应数据+AI时代的多元化负载需求
在数字化转型的大潮中,每家公司都在积极探索如何利用数据驱动业务增长,而AI技术的快速发展更是加速了这一进程。
|
14天前
|
存储 人工智能 文字识别
利用AI能力平台实现档案馆纸质文件的智能化数字处理
在传统档案馆中,纸质文件管理面临诸多挑战。AI能力平台利用OCR技术,通过图像扫描、预处理、边界检测、文字与图片分离、文字识别及结果存储等步骤,实现高效数字化转型,大幅提升档案处理效率和准确性。
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI驱动的个性化学习平台构建###
【10月更文挑战第29天】 本文将深入探讨如何利用人工智能技术,特别是机器学习与大数据分析,构建一个能够提供高度个性化学习体验的在线平台。我们将分析当前在线教育的挑战,提出通过智能算法实现内容定制、学习路径优化及实时反馈机制的技术方案,以期为不同背景和需求的学习者创造更加高效、互动的学习环境。 ###
34 3
|
13天前
|
机器学习/深度学习 人工智能 自然语言处理
医疗行业的语音识别技术解析:AI多模态能力平台的应用与架构
AI多模态能力平台通过语音识别技术,实现实时转录医患对话,自动生成结构化数据,提高医疗效率。平台具备强大的环境降噪、语音分离及自然语言处理能力,支持与医院系统无缝集成,广泛应用于门诊记录、多学科会诊和急诊场景,显著提升工作效率和数据准确性。
|
14天前
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
|
15天前
|
机器学习/深度学习 人工智能 自然语言处理
【EMNLP2024】阿里云人工智能平台 PAI 多篇论文入选 EMNLP2024
阿里云人工智能平台 PAI 的多篇论文在 EMNLP2024 上入选。论文成果是阿里云与华南理工大学金连文教授团队、复旦大学王鹏教授团队共同研发。EMNLP 是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台 PAI 在自然语言处理和多模态算法能力方面研究获得了学术界认可。