AI 助理
备案控制台
开发者社区 云知 文章 正文

机器学习（PAI）接入DataWorks

2018-04-13 2108
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
模型在线服务 PAI-EAS，A10/V100等 500元 1个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务
模型训练 PAI-DLC，100CU*H 3个月
推荐场景：
低代码 Lora 微调及部署
交互式建模 PAI-DSW，每月250计算时 3个月
推荐场景：
PAI×LLaMA Factory 微调 Llama3 模型
简介：
信息摘要： 机器学习（PAI）接入DataWorks
适用客户： 数据开发者/机器学习开发者
版本/规格功能： 1. 机器学习（PAI）调度整合入DataWorks 2. Dataworks在数据开发页面支持PAI的DAG模式，用户可以看到机器学习中节点的运行情况
产品文档： https://help.aliyun.com/document_detail/57136.html
文章标签：
大数据开发治理平台 DataWorks
人工智能平台 PAI
Web App开发
机器学习/深度学习
DataWorks
关键词：
机器学习人工智能平台 PAI
大数据开发治理平台 DataWorks机器学习
人工智能平台 PAI pai
人工智能平台 PAI dataworks
机器学习大数据开发治理平台 DataWorks
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始，十ー年里一直支持阿里巴巴集团内部数据中台的建设，2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks，承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示，学员可以一边学习一边进行实际操作，可以深入了解DataWorks各大模块的使用方式和具体功能，让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解，加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
桑弦
目录
相关文章
众所周知
|
3月前
|
机器学习/深度学习 算法 数据挖掘
Python数据分析革命：Scikit-learn库，让机器学习模型训练与评估变得简单高效！
在数据驱动时代，Python 以强大的生态系统成为数据科学的首选语言，而 Scikit-learn 则因简洁的 API 和广泛的支持脱颖而出。本文将指导你使用 Scikit-learn 进行机器学习模型的训练与评估。首先通过 `pip install scikit-learn` 安装库，然后利用内置数据集进行数据准备，选择合适的模型（如逻辑回归），并通过交叉验证评估其性能。最终，使用模型对新数据进行预测，简化整个流程。无论你是新手还是专家，Scikit-learn 都能助你一臂之力。
众所周知
158 8
土木林森
|
4月前
|
机器学习/深度学习 API 网络架构
"解锁机器学习超级能力！Databricks携手Mlflow，让模型训练与部署上演智能风暴，一触即发，点燃你的数据科学梦想！"
【8月更文挑战第9天】机器学习模型的训练与部署流程复杂，涵盖数据准备、模型训练、性能评估及部署等步骤。本文详述如何借助Databricks与Mlflow的强大组合来管理这一流程。首先需在Databricks环境内安装Mlflow库。接着，利用Mlflow跟踪功能记录训练过程中的参数与性能指标。最后，通过Mlflow提供的模型服务功能，采用REST API或Docker容器等方式部署模型。这一流程充分利用了Databricks的数据处理能力和Mlflow的生命周期管理优势。
土木林森
180 7
BetterBench
|
4月前
|
机器学习/深度学习 运维 算法
【阿里天池-医学影像报告异常检测】3 机器学习模型训练及集成学习Baseline开源
本文介绍了一个基于XGBoost、LightGBM和逻辑回归的集成学习模型，用于医学影像报告异常检测任务，并公开了达到0.83+准确率的基线代码。
BetterBench
77 9
DreamSpark
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
基于PAI-QuickStart搭建一站式模型训练服务体验
【8月更文挑战第5天】基于PAI-QuickStart搭建一站式模型训练服务体验
DreamSpark
151 0
LDG_AGI
|
4月前
|
机器学习/深度学习 存储 人工智能
【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战
【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战
LDG_AGI
496 0
vohelon
|
5月前
|
机器学习/深度学习 存储 分布式计算
PAI机器学习平台如何进行分布式训练？
【7月更文挑战第1天】PAI机器学习平台如何进行分布式训练？
vohelon
147 1
众所周知
|
5月前
|
机器学习/深度学习 算法 数据挖掘
Python数据分析革命：Scikit-learn库，让机器学习模型训练与评估变得简单高效！
【7月更文挑战第27天】在数据驱动时代，Python以丰富的库成为数据科学首选。Scikit-learn因简洁高效而备受青睐，引领数据分析革命。本文引导您使用Scikit-learn简化机器学习流程。首先通过`pip install scikit-learn`安装库。接着使用内置数据集简化数据准备步骤，例如加载Iris数据集。选择合适的模型，如逻辑回归，并初始化与训练模型。利用交叉验证评估模型性能，获取准确率等指标。最后，应用训练好的模型进行新数据预测。Scikit-learn为各阶段提供一站式支持，助力数据分析项目成功。
众所周知
83 0
嘟嘟嘟嘟嘟嘟
|
6月前
|
机器学习/深度学习 人工智能 DataWorks
人工智能平台PAI产品使用合集之在使用行调用时遇到一直卡在ps job的问题，并且无法在DataWorks上查看到相关日志，是什么导致的
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
嘟嘟嘟嘟嘟嘟
262 2
东洛的克莱斯韦克
|
5月前
|
机器学习/深度学习 人工智能 算法
【机器学习】大模型训练的深入探讨——Fine-tuning技术阐述与Dify平台介绍
【机器学习】大模型训练的深入探讨——Fine-tuning技术阐述与Dify平台介绍
东洛的克莱斯韦克
185 0
三分钟热度的鱼
|
7月前
|
机器学习/深度学习 人工智能 NoSQL
人工智能平台PAI产品使用合集之机器学习PAI EasyRec训练时，怎么去除没有意义的辅助任务的模型，用于部署
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
三分钟热度的鱼
441 1

云知

热门文章

最新文章

  • 1
    转载《Data Lake Analytics: 使用DataWorks来调度任务》
  • 2
    DataWorks独享资源组开通、使用教程
  • 3
    ODPS到ADS数据迁移指南
  • 4
    DataWorks 2021-06 产品月刊
  • 5
    DataWorks百问百答01：数据同步该用什么资源组？
  • 6
    Dataworks数据集成之“文本数据”
  • 7
    DataWorks产品菜单栏的优化解析
  • 8
    DataWorks操作报错合集之在DataWorks数据开发模块中一直显示“工作空间默认初始化中”，该怎么办
  • 9
    DataWorks产品使用合集之在阿里云的DataWorks中，使用CREATE AS创建分区表的步骤如何解决
  • 10
    DataWorks问题之操作新增数据源如何解决
  • 1
    【Python机器学习专栏】Python环境下的机器学习库概览
    116
  • 2
    【python】Python大豆特征数据分析 [机器学习版一]（代码+论文）【独一无二】
    112
  • 3
    机器学习实战第3天：手写数字识别
    194
  • 4
    机器学习库：numpy
    86
  • 5
    机器学习第11天：降维
    99
  • 6
    构建高效机器学习模型的五大技巧
    94
  • 7
    构建高效机器学习模型：从数据预处理到模型优化
    104
  • 8
    构建高效机器学习模型：从特征工程到模型调优
    106
  • 9
    Machine Learning机器学习之贝叶斯网络(BayesianNetwork)
    1365
  • 10
    Machine Learning机器学习之决策树算法 Decision Tree（附Python代码）
    392

    • 相关课程

    更多
  • 场景实践 - 机器学习PAI实现精细化营销
  • 场景实践 - 基于机器学习进行收入预测分析
  • 机器学习概览及常见算法
  • 机器学习入门-概念原理及常用算法
  • 一站式大数据开发治理平台DataWorks初级课程
  • DataWorks一站式大数据开发治理平台精品课程

    • 相关电子书

    更多
  • 大规模机器学习在蚂蚁+阿里的应用
  • 阿里巴巴机器学习平台AI
  • 微博机器学习平台架构和实践

    • 相关实验场景

    更多
  • DataWorks智能交互式数据开发与分析之旅
  • 基于EMR StarRocks实现游戏玩家画像和行为分析
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • 在SAE控制台极速部署个人LLM效能工具
  • 基于Hologres轻松玩转一站式实时仓库
    • 下一篇
    【案例实战】SpringBoot整合阿里云文件上传OSS