AI 助理
备案控制台登录注册
开发者社区 云知 文章 正文

机器学习（PAI）接入DataWorks

2018-04-13 2144
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
模型在线服务 PAI-EAS，A10/V100等 500元 1个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务
交互式建模 PAI-DSW，每月250计算时 3个月
推荐场景：
PAI×LLaMA Factory 微调 Llama3 模型
模型训练 PAI-DLC，100CU*H 3个月
推荐场景：
低代码 Lora 微调及部署
简介：
信息摘要： 机器学习（PAI）接入DataWorks
适用客户： 数据开发者/机器学习开发者
版本/规格功能： 1. 机器学习（PAI）调度整合入DataWorks 2. Dataworks在数据开发页面支持PAI的DAG模式，用户可以看到机器学习中节点的运行情况
产品文档： https://help.aliyun.com/document_detail/57136.html
文章标签：
大数据开发治理平台 DataWorks
人工智能平台 PAI
Web App开发
机器学习/深度学习
DataWorks
关键词：
机器学习人工智能平台 PAI
大数据开发治理平台 DataWorks机器学习
人工智能平台 PAI pai
人工智能平台 PAI dataworks
机器学习大数据开发治理平台 DataWorks
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始，十ー年里一直支持阿里巴巴集团内部数据中台的建设，2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks，承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 产品官网 https://www.aliyun.com/product/bigdata/ide 大数据&AI体验馆 https://workbench.data.aliyun.com/experience.htm#/ 帮助文档https://help.aliyun.com/zh/dataworks 课程目标  通过讲师的详细讲解与实际演示，学员可以一边学习一边进行实际操作，可以深入了解DataWorks各大模块的使用方式和具体功能，让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解，加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
桑弦
+关注
4文章
目录
打赏
0
0
0
0
79501
分享
相关文章
技术内容小助手
|
2月前
|
人工智能 调度 芯片
PAI训练服务：云上大模型训练新篇章
本文介绍了通用AI时代下的新训练方法及PAI平台的优化。随着大模型时代的到来，算力需求激增，硬件和网络通信成为瓶颈。PAI平台通过自动容错、3D健康检测等技术确保训练稳定性；通过资源配额、智能调度等提高性价比；并推出PAI-TorchAcc和PAI-ChatLearn两大引擎，分别实现高效训练加速和灵活的对齐训练，显著提升训练性能与效果。这些改进解决了大规模AI训练中的关键问题，提升了效率和稳定性。
技术内容小助手
135 0
一键难忘
|
14天前
|
机器学习/深度学习 数据采集 人工智能
MATLAB在机器学习模型训练与性能优化中的应用探讨
本文介绍了如何使用MATLAB进行机器学习模型的训练与优化。MATLAB作为强大的科学计算工具，提供了丰富的函数库和工具箱，简化了数据预处理、模型选择、训练及评估的过程。文章详细讲解了从数据准备到模型优化的各个步骤，并通过代码实例展示了SVM等模型的应用。此外，还探讨了超参数调优、特征选择、模型集成等优化方法，以及深度学习与传统机器学习的结合。最后，介绍了模型部署和并行计算技巧，帮助用户高效构建和优化机器学习模型。
一键难忘
33 1
MATLAB在机器学习模型训练与性能优化中的应用探讨
魔搭ModelScope社区小助手
|
3月前
|
人工智能 JSON 算法
魔搭支持在阿里云人工智能平台PAI上进行模型训练、部署了！
现在，魔搭上的众多模型支持在阿里云人工智能平台PAI-Model Gallery上使用阿里云算力资源进行模型训练和部署啦！
魔搭ModelScope社区小助手
287 22
技术内容小助手
|
2月前
|
人工智能 容灾 Serverless
AI推理新纪元，PAI全球化模型推理服务的创新与实践
本次分享主题为“AI推理新纪元，PAI全球化模型推理服务的创新与实践”，由阿里云高级产品经理李林杨主讲。内容涵盖生成式AI时代推理服务的变化与挑战、play IM核心引擎的优势及ES专属网关的应用。通过LM智能路由、多模态异步生成等技术，PAI平台实现了30%以上的成本降低和显著性能提升，确保全球客户的业务稳定运行并支持异地容灾，目前已覆盖16个地域，拥有10万张显卡的推理集群。
技术内容小助手
136 0
众所周知
|
6月前
|
机器学习/深度学习 算法 数据挖掘
Python数据分析革命：Scikit-learn库，让机器学习模型训练与评估变得简单高效！
在数据驱动时代，Python 以强大的生态系统成为数据科学的首选语言，而 Scikit-learn 则因简洁的 API 和广泛的支持脱颖而出。本文将指导你使用 Scikit-learn 进行机器学习模型的训练与评估。首先通过 `pip install scikit-learn` 安装库，然后利用内置数据集进行数据准备，选择合适的模型（如逻辑回归），并通过交叉验证评估其性能。最终，使用模型对新数据进行预测，简化整个流程。无论你是新手还是专家，Scikit-learn 都能助你一臂之力。
众所周知
235 8
土木林森
|
7月前
|
机器学习/深度学习 API 网络架构
"解锁机器学习超级能力！Databricks携手Mlflow，让模型训练与部署上演智能风暴，一触即发，点燃你的数据科学梦想！"
【8月更文挑战第9天】机器学习模型的训练与部署流程复杂，涵盖数据准备、模型训练、性能评估及部署等步骤。本文详述如何借助Databricks与Mlflow的强大组合来管理这一流程。首先需在Databricks环境内安装Mlflow库。接着，利用Mlflow跟踪功能记录训练过程中的参数与性能指标。最后，通过Mlflow提供的模型服务功能，采用REST API或Docker容器等方式部署模型。这一流程充分利用了Databricks的数据处理能力和Mlflow的生命周期管理优势。
土木林森
292 7
BetterBench
|
7月前
|
机器学习/深度学习 运维 算法
【阿里天池-医学影像报告异常检测】3 机器学习模型训练及集成学习Baseline开源
本文介绍了一个基于XGBoost、LightGBM和逻辑回归的集成学习模型，用于医学影像报告异常检测任务，并公开了达到0.83+准确率的基线代码。
BetterBench
101 9
DreamSpark
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
基于PAI-QuickStart搭建一站式模型训练服务体验
【8月更文挑战第5天】基于PAI-QuickStart搭建一站式模型训练服务体验
DreamSpark
230 0
LDG_AGI
|
7月前
|
机器学习/深度学习 存储 人工智能
【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战
【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战
LDG_AGI
713 0
vohelon
|
8月前
|
机器学习/深度学习 存储 分布式计算
PAI机器学习平台如何进行分布式训练？
【7月更文挑战第1天】PAI机器学习平台如何进行分布式训练？
vohelon
197 1

云知
+ 订阅

热门文章

最新文章

  • 1
    大数据AI一体化开发再加速：DataWorks 支持GPU类型资源
    55
  • 2
    DataWorks X DeepSeek : 用AI实现数据开发治理！
    68
  • 3
    阿里云DataWorks接入DeepSeek大模型
    33
  • 4
    Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
    16
  • 5
    云上玩转DeepSeek系列之二：PAI+DeepSeek，打造智能问答助手
    79
  • 6
    全网首发 | PAI Model Gallery一键部署阶跃星辰Step-Video-T2V、Step-Audio-Chat模型
    59
  • 7
    阿里万相重磅开源，人工智能平台PAI一键部署教程来啦
    252
  • 8
    Omnitool：开发者桌面革命！开源神器一键整合ChatGPT+Stable Diffusion等主流AI平台，本地运行不联网
    27
  • 9
    基于阿里云 Milvus + DeepSeek + PAI LangStudio 的低成本高精度 RAG 实战
    150
  • 10
    云上玩转DeepSeek系列之三：PAI-RAG集成联网搜索，构建企业级智能助手
    58
  • 1
    基于机器学习的数据分析：PLC采集的生产数据预测设备故障模型
    14
  • 2
    云上一键部署通义千问 QwQ-32B 模型，阿里云 PAI 最佳实践
    272
  • 3
    Hologres × PAI × DeepSeek 搭建 RAG 检索增强对话系统
    35
  • 4
    Python 高级编程与实战：深入理解数据科学与机器学习
    43
  • 5
    Python 高级编程与实战：深入理解数据科学与机器学习
    32
  • 6
    机器学习特征筛选：向后淘汰法原理与Python实现
    47
  • 7
    部门专集｜人工智能平台PAI团队期待你的加入
    32
  • 8
    【云栖大会】阿里云PAI ArtLab x 通往AGI之路：ArtLab开源共创与商业落地
    31
  • 9
    【云栖大会】阿里云设计中心 × 教育部协同育人项目成果展，PAI ArtLab助力高校AIGC教育新路径
    51
  • 10
    2024云栖大会回顾｜PAI ArtLab x 通往AGI之路系列活动，PAI ArtLab助力行业AI创新
    71

    • 相关课程

    更多
  • 场景实践 - 机器学习PAI实现精细化营销
  • 场景实践 - 基于机器学习进行收入预测分析
  • 机器学习概览及常见算法
  • 机器学习入门-概念原理及常用算法
  • 一站式大数据开发治理平台DataWorks初级课程
  • DataWorks一站式大数据开发治理平台精品课程

    • 相关电子书

    更多
  • 大规模机器学习在蚂蚁+阿里的应用
  • 基于Spark的面向十亿级别特征的 大规模机器学习
  • 基于Spark的大规模机器学习在微博的应用

    • 相关实验场景

    更多
  • 在PAI ArtLab一键设计AIGC新春红包
  • DataWorks智能交互式数据开发与分析之旅
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • 在SAE控制台极速部署个人LLM效能工具
  • 基于Hologres轻松玩转一站式实时仓库
  • 在PAI ArtLab一键实现欧洲杯粉丝专属贴纸制作
    • 下一篇
    阿里云负载均衡SLB版本CLB、ALB和NLB有什么区别如何选择？
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等