『Power AI by AI』 PAI-AutoML2.0重磅发布

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: PAI-AutoML调参服务是通过算法的方式解放用户调节算法参数的工作。自2018年8月发布PAI-AutoML1.0版本以来,该功能已经帮助众多PAI的中小企业用户提升了模型的准确性,得到了不错的反馈。

PAI-AutoML调参服务是通过算法的方式解放用户调节算法参数的工作。自2018年8月发布PAI-AutoML1.0版本以来,该功能已经帮助众多PAI的中小企业用户提升了模型的准确性,得到了不错的反馈。

PAI-AutoML1.0版本介绍文章:https://help.aliyun.com/document_detail/87393.html,为了进一步提升该服务的能力,PAI在今日发布AutoML调参服务2.0版本,目前该功能已经在PAI各区域服务全量上线。

在AutoML2.0版本中将包含以下Feature:

  • 新增目前业内热门的高斯调参方法以及针对大规模数据改良后的高斯采样算法
  • 增加了提前停止条件(EarlyStop)机制,帮助用户能更高效的利用资源

典型用户场景

某公司主营业务是广告DSP平台,对于广告DSP公司来讲,CTR预估准确性是营收的生命线。而CTR预估算法在机器学习领域属于二分类算法,目的是通过用户画像判断投放给用户的广告是否会被点击。

二分类算法如果在PAI平台选用GBDT或者RF这些算法需要有大量的参数调节,而且每个参数都具有很广的定义域,光靠人工手动调节很难锁定最优的参数组合。如下图,仅树的数目这一个参数就有[1,10000]这1万种参数可能性。

通过PAI-AutoML工具,只需要设置每个参数的大致范围,就可以通过调参算法自动找到最优参数组合:

从收益来讲,假设用户每日投放广告量为1000万次,使用AutoML之前的CTR预估准确率为0.7%,也就是投放1000万次会获得点击7万次。如果通过AutoML调参功能将CTR预估准确性提升到0.8%,可以帮助平台每天新增点击1万次。假设每次广告点击平台的收益是1元,那么平台日新增收入将增加1万元,年直接经济收益超过百万。

开箱即用

目前PAI-AutoML功能已经全面上线,只需要进入PAI-STUDIO页面,地址:https://pai.data.aliyun.com/console

新建项目并在首页模板中找到”基于对象特征的推荐“模板:

点击控制面板中的AutoML功能即可开始试用:

详细说明

在2.0版本中调参算法种类从4个增加到7个,各个算法详细说明如下:

算法名称 说明
Gause(高斯算法) 高斯过程,是一种非参数贝叶斯模型。作为经典算法,高斯过程已经广泛地被应用于超参优化领域。它通过不断观测超参配置表现来拟合代理模型,再通过模型的预测能力来强化决策,从而能在有限的尝试次数中更有目的地选出合适的超参结果。
Sample(采样算法) 该算法是PAI团队与达摩院合作自研的算法。对于数据量巨大的实验,其实仅需要一部分数据,就可以对一组超参所能得到的最终结果作一个预估。采样算法利用这一特性,结合PBT算法的思想,在增加超参选取数量的同时,逐步提高采样比例,不仅能进行更广的探索也能获得更快的加速
EvolutionaryOptimizer(进化式调参方法) 该算法是PAI团队基于PBT理论自研的算法,EvolutionaryOptimizer算法将调参问题看成一个多轮迭代循序渐进探索最优解的问题。其中”探索样本数“表示每轮迭代的样本,”探索次数“表示迭代轮数,”收敛系数“控制每次迭代的步长。在迭代过程中EvolutionaryOptimizer会在每轮结束后抛弃效果不理想的探索样本,并在效果更优的探索样本集合中向外拓展更多探索样本,形成下一轮的计算探索样本集合。以此方式迭代,直到完成迭代轮数。
PBT(Population-based training) PBT是一类基于种群概念的演化算法。它把超参配置看为一个种群,将搜索过程作为一个动态环境,在不断的迭代中对超参配置们进行优胜劣汰的筛选,最终得到表现更好的结果。这类算法概念简洁,可以适应不同的数据结构,在深度学习模型训练中取得过较好效果。
Grid Search 网格搜索调参法,将每个参与调参的参数按照比例等分切割,并且将切割后的参数随机组合生成参数数候选集进行计算和对比。
Random Search 随机搜索调参法,在每个参数空间中随机采样并且组合形成参数候选集,并对候选集进行计算和对比
User-define 用户自定义参数组合
相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
|
20天前
|
机器学习/深度学习 人工智能 自然语言处理
探索自动化测试的新篇章:AI与机器学习的融合
【7月更文挑战第31天】随着技术的进步,自动化测试领域正迎来一场革命。AI和机器学习的结合不仅为测试流程带来了效率上的飞跃,还极大地提升了测试的准确性和智能性。本文将深入探讨AI和机器学习如何重新定义软件测试的未来,包括它们在提高测试用例生成的智能化、优化测试执行过程、以及增强缺陷预测和分类能力方面的应用。通过分析当前的挑战与机遇,文章旨在为读者揭示这一趋势背后的潜力及其对传统测试实践的影响。
|
20天前
|
机器学习/深度学习 人工智能 自然语言处理
探索自动化测试的前沿:AI与机器学习的融合
【7月更文挑战第31天】在软件测试领域,传统的手动测试和脚本化自动化测试方法正逐渐让位于集成了人工智能(AI)和机器学习(ML)技术的先进解决方案。本文将深入探讨如何通过AI和ML技术提高自动化测试的效率、准确性和智能化水平,同时分析这些技术在实际测试中的应用案例及其对测试工程师角色的影响。
|
10天前
|
机器学习/深度学习 人工智能 算法
AI基础科普:机器学习入门与实践
本文全面介绍了机器学习及其在信用评分预测中的应用。首先概览了机器学习作为人工智能核心领域的重要性及其实现数字化转型的作用。接着定义了机器学习,并区分了监督、无监督和强化学习等主要类型。随后,通过一个具体的场景——利用Python与scikit-learn库构建逻辑回归模型来预测客户的信用等级,详细阐述了从数据准备、模型训练到评估的全过程。此外,还介绍了如何借助阿里云机器学习平台PAI进行云上的模型训练和部署。最后,通过总结逻辑回归算法和其在金融领域的应用,鼓励读者深入学习并实践AI技术,以适应快速发展的科技趋势。
52 2
AI基础科普:机器学习入门与实践
|
4天前
|
人工智能 机器人
LLM活动 | 与 UP 主“老陈打码”一起使用 PAI×LLaMA Factory 搭建 AI 诸葛亮
LLaMA Factory是一款开源低代码大模型微调框架,集成了业界最广泛使用的微调技术,支持通过Web UI界面零代码微调大模型,目前已经成为开源社区内最受欢迎的微调框架,GitHub星标超过2万。本次活动基于Meta AI开源的Llama-3 8B模型,使用PAI平台及LLaMA Factory训练框架完成模型的中文化与角色扮演微调和评估,搭建专属“ AI 诸葛亮”问答机器人,7×24小时为你出谋划策!
|
5天前
|
机器学习/深度学习 人工智能 算法
揭秘AI编程:从零开始的机器学习之旅
本文将带你走进人工智能的奇妙世界,一起探索机器学习的奥秘。我们将从最基础的概念入手,逐步深入到实际应用中,让你在轻松愉快的阅读过程中,对AI编程有一个全面而深刻的理解。无论你是编程新手,还是有一定基础的开发者,都能在这篇文章中找到你需要的信息和启示。让我们一起开启这场充满智慧和乐趣的旅程吧!
17 1
|
10天前
|
机器学习/深度学习 人工智能 算法
AI与创造力的碰撞:探索机器学习在艺术创作中的角色
【8月更文挑战第9天】当科技遇见艺术,会擦出怎样的火花?本文将带您一探究竟,深入了解人工智能尤其是机器学习如何在现代和当代艺术创作中扮演着日益重要的角色。我们将通过具体实例探讨AI如何助力艺术家突破创意限制,以及这一技术趋势对艺术领域未来的可能影响。
|
12天前
|
机器学习/深度学习 人工智能 算法
探索自动化测试的未来:AI与机器学习的融合
在软件测试领域,自动化一直是提高效率和准确性的关键。随着人工智能(AI)和机器学习(ML)技术的飞速发展,它们正在逐步改变自动化测试的面貌。本文将探讨AI和ML如何增强自动化测试的能力,提高其智能性、预测性和适应性,并分析这些技术为测试实践带来的潜在变化和挑战。
|
15天前
|
机器学习/深度学习 人工智能 自然语言处理
探索自动化测试的未来:AI与机器学习的融合
在软件测试领域,自动化测试一直是提高效率和质量的关键工具。然而,随着技术的发展,尤其是人工智能(AI)和机器学习(ML)的兴起,我们看到了自动化测试的新机遇和挑战。本文将探讨AI和ML如何改变自动化测试的面貌,从智能测试脚本的生成到预测性分析的应用,以及这些技术如何帮助测试人员更有效地识别和解决问题。我们将通过具体案例和最新研究成果,深入理解这一趋势对软件测试实践的影响。
|
17天前
|
机器学习/深度学习 人工智能 TensorFlow
神经网络入门到精通:Python带你搭建AI思维,解锁机器学习的无限可能
【8月更文挑战第3天】踏入人工智能领域,神经网络是开启智慧之门的钥匙。它不仅是一种技术,更是模仿人脑学习与推理的思维方式。从理解神经元间的连接到构建神经网络的基本概念,再到使用Python与TensorFlow搭建手写数字识别模型,每一步都揭示着机器学习的奥秘。随着深入学习,我们将探索更高级的主题,比如深度神经网络、卷积神经网络和循环神经网络,以及如何优化模型性能。掌握背后的数学原理,将帮助我们设计更高效准确的模型。在这个旅程中,Python将是我们的得力助手,引领我们探索AI世界的无限可能。
23 2
|
22天前
|
机器学习/深度学习 人工智能 TensorFlow
🔥零基础逆袭!Python数据分析+机器学习:TensorFlow带你秒变AI大师
【7月更文挑战第29天】在这个数据驱动的时代,掌握Python与机器学习技能是进入AI领域的关键。即使从零开始,也能通过TensorFlow成为AI专家。
41 8

相关产品

  • 人工智能平台 PAI