AI平台-TransmogrifAI【AutoML】

简介: TransmogrifAI(发音为 trăns-mŏgrə-fī)是一个用 Scala 编写的 AutoML 库,它运行在 Spark 之上。它的开发重点是通过机器学习自动化加速机器学习开发人员的工作效率,以及实施编译时类型安全、模块化和重用的 API。

TransmogrifAI(发音为 trăns-mŏgrə-fī)是一个用 Scala 编写的 AutoML 库,它运行在 Spark 之上。它的开发重点是通过机器学习自动化加速机器学习开发人员的工作效率,以及实施编译时类型安全、模块化和重用的 API。通过自动化,它可以实现接近手动调整模型的精度,并且几乎可以减少 100 倍的时间。

1.TransmogrifAI背景

在2016年,Salesforce推出了爱因斯坦人工智能平台。官网介绍道,因为拥有技术先进的机器学习、深度学习、预测分析、自然语言处理和智能数据挖掘能力,爱因斯坦将会为每一个客户自动定制它的模型,它会学习,会自我调整,会因为每一次互动和更多的数据变得更聪明。最重要的是,爱因斯坦的智能将会被嵌入到商业业务的范围内,自动挖掘相关的商业洞察,预测客户未来的行为,积极推荐最优的下一步行动,甚至自动执行任务。而TransmogrifAI则是爱因斯坦人工智能平台背后的关键软件。
2018年,Salesforce开源了TransmogrifAI,可以让任何人在自己的数据中心使用它。TransmogrifAI可以帮助企业自己构建机器学习系统,这有利于降低机器学习门槛,让企业更好地利用机器学习促进业务发展。

“在Salesforce,我们的客户可能希望预测一系列结果——从客户流失、销售预测、潜在用户转化,到数字广告点击、网购、报价接受、设备故障和延迟付款等。” - 官网

2.TransmogrifAI简介

2.1 TransmogrifAI优势:

  • 在几个小时而不是几个月内构建生产就绪机器学习应用
  • 建立机器学习模型而无需获得博士学位
  • 在机器学习中构建模块化、可重用与强类型的机器学习工作流程
  • 基于最新版的Spark构建,利于使用和扩展

2.2 TransmogrifAI结构

TransmogrifAI是一个基于Scala和SparkML构建的库,它封装了机器学习过程的五个主要步骤,包括特征推断(Feature Inference)、自动化特征工程(Transmogrification)、自动化特征验证(Feature Validation)、自动化模型选择(Model Selection)、超参数优化(Hyperparameter Optimization)。
image
1. 特征推断:
TransmogrifAI允许用户为其数据指定类型,自动把原始预测变量和响应信号提取为“特征”,比如地理位置、电话号码、邮政编码……
2. 自动化特征工程:
虽然找到正确的类型有助于数据推理和减少对下游的不良影响,但最终所有特征都是要被转换成数字表示的。只有这样,机器学习算法才能寻找并利用其中的规律。这个过程被称为特征工程。
3. 自动化特征验证:
TransgmogrifAI包含执行自动特征验证的算法,可以删除几乎没有预测能力的特征——随着时间的推移而使用的特征,表现出零方差的特征,或者在训练样本中的分布与预测时的分布存在显着不同的特征。
4. 自动化模型选择:
TransmogrifAI的模型选择器可以在数据上运行多种算法,并比较它们的平均验证错误,从中挑出最佳算法。除此之外,它还能通过适当地对数据进行采样并重新校准预测以匹配真实的先验,自动处理不平衡数据的问题,进一步提高模型性能。
5. 超参数优化:
上述自动化步骤的基础都涉及超参数优化,它几乎无处不在。

目前,TransmogrifAI在Salesforce内部已经成功把训练模型所需的总时间从几周、几个月缩短到了几个小时。而封装所有这些复杂操作的代码却非常简单,只需短短几行就能搞定。

3.相关资料

  1. https://zhuanlan.zhihu.com/p/42384428
  2. https://transmogrif.ai/
  3. https://docs.transmogrif.ai/en/stable/
目录
相关文章
|
12天前
|
人工智能 运维 监控
首个云上 AI 原生全栈可观测平台来了!
9月21日,2024 云栖大会,阿里云发布全新的 AI 原生全栈可观测平台,首次实现云上 AI 大模型从训练到推理再到应用的全链路实时观测、告警与诊断。
|
16天前
|
人工智能 JSON 数据格式
RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
【9月更文挑战第6天】RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
|
13天前
|
人工智能 分布式计算 大数据
AI Native平台,跨越AI应用从创新到生产的鸿沟
2024年是AI应用的元年,以大模型为中心的 AI Native 应用大爆发正在从理想变成现实。云计算带来的应用创新潮,经历了虚拟机时代和云原生时代,正在全面拥抱以大模型为核心的 AI Native 阶段,推动大数据与AI的工作流前所未有地紧密结合。领先大模型、高效的AI计算平台和统一的大数据平台是 AI Native 应用广泛落地背后不可获缺的要素。 9月20日,2024云栖大会上,阿里云副总裁、阿里云计算平台事业部负责人汪军华宣布大数据AI平台全面升级,为 AI Native 应用大爆发提供坚实的平台支撑。
|
22天前
|
人工智能 监控 Cloud Native
【涂鸦即艺术】基于云应用开发平台 CAP 部署 AI 实时生图绘板
本实验介绍如何使用阿里云的云原生应用开发平台CAP、函数计算FC和日志服务SLS,三步创建AI实时绘画平台。
【涂鸦即艺术】基于云应用开发平台 CAP 部署 AI 实时生图绘板
|
2月前
|
存储 人工智能 自然语言处理
无缝融入,即刻智能[二]:Dify-LLM平台(聊天智能助手、AI工作流)快速使用指南,42K+星标见证专属智能方案
【8月更文挑战第8天】无缝融入,即刻智能[二]:Dify-LLM平台(聊天智能助手、AI工作流)快速使用指南,42K+星标见证专属智能方案
无缝融入,即刻智能[二]:Dify-LLM平台(聊天智能助手、AI工作流)快速使用指南,42K+星标见证专属智能方案
|
9天前
|
数据采集 机器学习/深度学习 人工智能
云栖实录 | GenAI 时代 AI Infra 工程技术趋势与平台演进
本文根据2024云栖大会实录整理而成,演讲信息如下: 演讲人:林伟 | 阿里云智能集团研究员、阿里云人工智能平台 PAI 负责人;黄博远|阿里云智能集团资深产品专家、阿里云人工智能平台 PAI 产品负责人 活动:2024 云栖大会 - AI Infra 核心技术专场、人工智能平台 PAI 年度发布专场
|
2月前
|
机器学习/深度学习 人工智能 搜索推荐
AI低代码平台:创新开发新选择
Zoho Creator、Airtable、Appian、Creatio Atlas及织信等低代码平台,通过集成AI功能如预测分析、情感分析、自动化文案创作等,显著提升了开发效率与智能化水平。例如,Zoho Creator利用AI预测客户需求并分析情绪;Airtable借助OpenAI模型自动生成代码与文案;Appian通过AI技能自动处理文档与邮件;Creatio Atlas运用AI优化决策流程并提供个性化推荐;织信则集成ChatGPT与Stable Diffusion,实现智能开发与图像生成。这些平台不仅支持多种业务场景,还简化了应用程序开发流程。
79 5
|
2月前
|
人工智能 自然语言处理 搜索推荐
谷歌 ai人工智能平台叫什么?请记住答案是:Gemini
Gemini 是 Google 开发的一个大型AI语言模型 ,代表着人工智能领域的一项重大进步。它是一个强大的工具,旨在理解和生成人类语言,并具备广泛的功能,可以帮助人们完成各种任务,从创作不同类型的文本到回答复杂的问题,再到翻译语言等等。
|
2月前
|
人工智能 Java API
JeecgBoot 低代码平台快速集成 Spring AI
Spring 通过 Spring AI 项目正式启用了 AI(人工智能)生成提示功能。本文将带你了解如何在 Jeecg Boot 应用中集成生成式 AI,以及 Spring AI 如何与模型互动,包含 RAG 功能。
101 3
|
2月前
|
人工智能 安全 Anolis
专访英特尔:开源与 AI 迅猛发展,龙蜥社区提供高效合作平台
龙蜥社区为开源技术、AI 技术提供了一个非常好的高效合作的平台。

热门文章

最新文章

下一篇
无影云桌面