从阿里云峰会看一站式数据AI平台的演进

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 今年因为广州疫情爆发,没能到现场参加阿里云峰会,只能线下看直播,从云原生,数据治理到AI开发范式,智能运维,低代码开发,无不揭示了云给大家带来的价值。可以看到今年所有主题的核心都是围绕如何为开发者构建高效的范式和架构支撑软件开发迭代,这也算是回归了云的初心。

今年因为广州疫情爆发,没能到现场参加阿里云峰会,只能线下看直播,从云原生,数据治理到AI开发范式,智能运维,低代码开发,无不揭示了云给大家带来的价值。可以看到今年所有主题的核心都是围绕如何为开发者构建高效的范式和架构支撑软件开发迭代,这也算是回归了云的初心。

从阿里一站式AI平台看清MLOps

虽然这次峰会涉及的主题很多,但最让我感兴趣的还是贾老师的“云上大数据与AI开发范式的演进”,因为AI后半段是拼地是工程落地能力,如何快速并准确地完成数据治理和模型迭代不仅需要NB的算法人员和方法轮,还需要有完善基础设施,不然只能是小作坊式作业。

AI开发范式演进.png

学过近代史的都知道,小作坊的效率是永远比不过工业化革命的大工厂的,那么如何从小作坊变成高效的算法工厂呢?拆解开来,核心是三大块:

  • 数据治理
  • 算法探索
  • 流程范式

为什么是这三块呢?其实从阿里云AI平台的布局可以看到,通过大数据与AI一体化平台来推动作为一起模型训练根源的数据治理工作,通过推出快速体验的云端 Jupyter 平台为算法人员快速探索算法,和通过打通机器学习全链路的PAI平台将AI工程化能以一种标准的流程范式的形式进行快速落地。

全链路数据治理

dataworks数据治理平台.png

数据治理可以说是AI大规模落地的最大障碍也不为过。每个公司做算法工程落地地时候发现最多的工作都耗费在各种 kafka 的对接,数据集成,数据加工,数据清洗,数据核验上面,而围绕着开发效率优先的工作模式下数据体系快速腐化就变成了一个不可避免的事实了。

数据治理核心是提升数据服务的效率,将工程人员从数据的漩涡中拯救出来,而不是每天面对数据做各种低价值工作。

算法探索神器notebook

相信每个算法开发,甚至大部分 python 开发人员都使用过 jupyter notebook 这款 web IDE,可以说这款 IDE 把交互式地优势发挥到极致了,
今天贾老师提出 jupyter web server 的概念其实一点都不奇怪,不管是 google 一直在推的 colab,还是kubeflow 的 jupyter server,本质都是这样的产品,甚至jupyter server 的功能很早就作为 kubeflow 其除 pipeline 工作流以外最核心的卖点。
一个随时能使用的算法开发环境,这一定是每个算法人员的刚需,同时也是最适合和云技术结合的,利用云原生技术可以为算法人员在任何时候提供一个具有足够资源的完整开发环境,快速开始开发。这确实切入了很多算法人员的痛点。
jupyter-kfserving.png

AI流程范式

阿里云PAI平台.png

说到PAI平台,其实还瞒感慨的,因为16年的时候当时自己也带团队做过一个大数据的可视化建模平台,当时就是参照了PAI平台的界面进行的产品设计,不过这几年 PAI 平台的快速发展已经完全不是当年那个只是具有拖拉拽功能的大数据机器学习建模平台了,逐渐变成一个集可视化建模、交互式建模、弹性推理服务为一体的 MLOps 平台。
特别是和云原生的结合,让她在给开发者赋能上提供了更多地可能性,其实当年在做可视化平台的时候这个问题就暴露出来,就是完全的可视化操作在灵活性上和适应性上是很差的,这也是为什么这几年低代码平台兴起的缘故。

这里做个大胆地预测,后面阿里云 PAI 平台应该会引进 git 的版本管理,彻底将算法工程化全流程打通,通过提供全流程的高效开发为AI工程化铺路。

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
|
10天前
|
人工智能 运维 Kubernetes
阿里云容器服务AI助手2.0 - 新一代容器智能运维能力
2024年11月,阿里云容器服务团队进一步深度融合现有运维可观测体系,在场景上覆盖了K8s用户的全生命周期,正式推出升级版AI助手2.0,旨在更好地为用户使用和运维K8S保驾护航。
|
9天前
|
人工智能 JSON 算法
魔搭支持在阿里云人工智能平台PAI上进行模型训练、部署了!
现在,魔搭上的众多模型支持在阿里云人工智能平台PAI-Model Gallery上使用阿里云算力资源进行模型训练和部署啦!
|
3天前
|
人工智能 自然语言处理 安全
通过阿里云Milvus与PAI搭建高效的检索增强对话系统
阿里云向量检索Milvus版是一款全托管的云服务,兼容开源Milvus并支持无缝迁移。它提供大规模AI向量数据的相似性检索服务,具备易用性、可用性、安全性和低成本等优势,适用于多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等场景。用户可通过PAI平台部署RAG系统,创建和配置Milvus实例,并利用Attu工具进行可视化操作,快速开发和部署应用。使用前需确保Milvus实例和PAI在相同地域,并完成相关配置与开通服务。
|
12天前
|
机器学习/深度学习 人工智能 安全
阿里云先知安全沙龙(武汉站) ——AI赋能软件漏洞检测,机遇, 挑战与展望
本文介绍了漏洞检测的发展历程、现状及未来展望。2023年全球披露的漏洞数量达26447个,同比增长5.2%,其中超过7000个具有利用代码,115个已被广泛利用,涉及多个知名软件和系统。文章探讨了从人工审计到AI技术的应用,强调了数据集质量对模型性能的重要性,并展示了不同检测模型的工作原理与实现方法。此外,还讨论了对抗攻击对模型的影响及提高模型可解释性的多种方法,展望了未来通过任务大模型实现自动化漏洞检测与修复的趋势。
|
7天前
|
存储 数据采集 算法
构建AI数据管道:从数据到洞察的高效之旅最佳实践
本文探讨了大模型从数据处理、模型训练到推理的全流程解决方案,特别强调数据、算法和算力三大要素。在数据处理方面,介绍了多模态数据的高效清洗与存储优化;模型训练中,重点解决了大规模数据集和CheckPoint的高效管理;推理部分则通过P2P分布式加载等技术提升效率。案例展示了如何在云平台上实现高性能、低成本的数据处理与模型训练,确保业务场景下的最优表现。
|
7天前
|
存储 人工智能 数据管理
媒体声音|专访阿里云数据库周文超博士:AI就绪的智能数据平台设计思路
在生成式AI的浪潮中,数据的重要性日益凸显。大模型在实际业务场景的落地过程中,必须有海量数据的支撑:经过训练、推理和分析等一系列复杂的数据处理过程,才能最终产生业务价值。事实上,大模型本身就是数据处理后的产物,以数据驱动的决策与创新需要通过更智能的平台解决数据多模处理、实时分析等问题,这正是以阿里云为代表的企业推动 “Data+AI”融合战略的核心动因。
|
7天前
|
人工智能 运维 监控
阿里云Milvus产品发布:AI时代云原生专业向量检索引擎
随着大模型和生成式AI的兴起,非结构化数据市场迅速增长,预计2027年占比将达到86.8%。Milvus作为开源向量检索引擎,具备极速检索、云原生弹性及社区支持等优势,成为全球最受欢迎的向量数据库之一。阿里云推出的全托管Milvus产品,优化性能3-10倍,提供企业级功能如Serverless服务、分钟级开通、高可用性和成本降低30%,助力企业在电商、广告推荐、自动驾驶等场景下加速AI应用构建,显著提升业务价值和稳定性。
|
7天前
|
并行计算 PyTorch 算法框架/工具
阿里云PAI-部署Qwen2-VL-72B
阿里云PAI-部署Qwen2-VL-72B踩坑实录
|
9天前
|
人工智能 Cloud Native 数据管理
数据+AI融合趋势洞察暨阿里云OpenLake解决方案发布
Forrester是全球领先的市场研究与咨询机构,专注于新兴技术在各领域的应用。本文探讨如何加速现代数据管理,推动人工智能与客户业务的融合创新。面对数据标准缺乏、多云环境复杂性、新兴业务场景及过多数据平台等挑战,Forrester提出构建AI就绪的数据管理基石,通过互联智能框架、全局数据管理和DataOps、端到端数据管理能力、AI赋能的数据管理以及用例驱动的策略,帮助企业实现数据和AI的深度融合,提升业务价值并降低管理成本。
|
12天前
|
机器学习/深度学习 人工智能 自动驾驶
企业内训|AI大模型在汽车行业的前沿应用研修-某汽车集团
本课程是TsingtaoAI为某汽车集团高级项目经理设计研发,课程全面系统地解析AI的发展历程、技术基础及其在汽车行业的深度应用。通过深入浅出的理论讲解、丰富的行业案例分析以及实战项目训练,学员将全面掌握机器学习、深度学习、NLP与CV等核心技术,了解自动驾驶、智能制造、车联网与智能营销等关键应用场景,洞悉AI技术对企业战略布局的深远影响。
148 97
下一篇
开通oss服务