AI平台-TransmogrifAI【AutoML】

简介: TransmogrifAI(发音为 trăns-mŏgrə-fī)是一个用 Scala 编写的 AutoML 库,它运行在 Spark 之上。它的开发重点是通过机器学习自动化加速机器学习开发人员的工作效率,以及实施编译时类型安全、模块化和重用的 API。

TransmogrifAI(发音为 trăns-mŏgrə-fī)是一个用 Scala 编写的 AutoML 库,它运行在 Spark 之上。它的开发重点是通过机器学习自动化加速机器学习开发人员的工作效率,以及实施编译时类型安全、模块化和重用的 API。通过自动化,它可以实现接近手动调整模型的精度,并且几乎可以减少 100 倍的时间。

1.TransmogrifAI背景

在2016年,Salesforce推出了爱因斯坦人工智能平台。官网介绍道,因为拥有技术先进的机器学习、深度学习、预测分析、自然语言处理和智能数据挖掘能力,爱因斯坦将会为每一个客户自动定制它的模型,它会学习,会自我调整,会因为每一次互动和更多的数据变得更聪明。最重要的是,爱因斯坦的智能将会被嵌入到商业业务的范围内,自动挖掘相关的商业洞察,预测客户未来的行为,积极推荐最优的下一步行动,甚至自动执行任务。而TransmogrifAI则是爱因斯坦人工智能平台背后的关键软件。
2018年,Salesforce开源了TransmogrifAI,可以让任何人在自己的数据中心使用它。TransmogrifAI可以帮助企业自己构建机器学习系统,这有利于降低机器学习门槛,让企业更好地利用机器学习促进业务发展。

“在Salesforce,我们的客户可能希望预测一系列结果——从客户流失、销售预测、潜在用户转化,到数字广告点击、网购、报价接受、设备故障和延迟付款等。” - 官网

2.TransmogrifAI简介

2.1 TransmogrifAI优势:

  • 在几个小时而不是几个月内构建生产就绪机器学习应用
  • 建立机器学习模型而无需获得博士学位
  • 在机器学习中构建模块化、可重用与强类型的机器学习工作流程
  • 基于最新版的Spark构建,利于使用和扩展

2.2 TransmogrifAI结构

TransmogrifAI是一个基于Scala和SparkML构建的库,它封装了机器学习过程的五个主要步骤,包括特征推断(Feature Inference)、自动化特征工程(Transmogrification)、自动化特征验证(Feature Validation)、自动化模型选择(Model Selection)、超参数优化(Hyperparameter Optimization)。
image
1. 特征推断:
TransmogrifAI允许用户为其数据指定类型,自动把原始预测变量和响应信号提取为“特征”,比如地理位置、电话号码、邮政编码……
2. 自动化特征工程:
虽然找到正确的类型有助于数据推理和减少对下游的不良影响,但最终所有特征都是要被转换成数字表示的。只有这样,机器学习算法才能寻找并利用其中的规律。这个过程被称为特征工程。
3. 自动化特征验证:
TransgmogrifAI包含执行自动特征验证的算法,可以删除几乎没有预测能力的特征——随着时间的推移而使用的特征,表现出零方差的特征,或者在训练样本中的分布与预测时的分布存在显着不同的特征。
4. 自动化模型选择:
TransmogrifAI的模型选择器可以在数据上运行多种算法,并比较它们的平均验证错误,从中挑出最佳算法。除此之外,它还能通过适当地对数据进行采样并重新校准预测以匹配真实的先验,自动处理不平衡数据的问题,进一步提高模型性能。
5. 超参数优化:
上述自动化步骤的基础都涉及超参数优化,它几乎无处不在。

目前,TransmogrifAI在Salesforce内部已经成功把训练模型所需的总时间从几周、几个月缩短到了几个小时。而封装所有这些复杂操作的代码却非常简单,只需短短几行就能搞定。

3.相关资料

  1. https://zhuanlan.zhihu.com/p/42384428
  2. https://transmogrif.ai/
  3. https://docs.transmogrif.ai/en/stable/
目录
相关文章
|
3月前
|
人工智能 运维 监控
首个云上 AI 原生全栈可观测平台来了!
9月21日,2024 云栖大会,阿里云发布全新的 AI 原生全栈可观测平台,首次实现云上 AI 大模型从训练到推理再到应用的全链路实时观测、告警与诊断。
217 11
|
11天前
|
人工智能 数据可视化 JavaScript
NodeTool:AI 工作流可视化构建器,通过拖放节点设计复杂的工作流,集成 OpenAI 等多个平台
NodeTool 是一个开源的 AI 工作流可视化构建器,通过拖放节点的方式设计复杂的工作流,无需编码即可快速原型设计和测试。它支持本地 GPU 运行 AI 模型,并与 Hugging Face、OpenAI 等平台集成,提供模型访问能力。
78 14
NodeTool:AI 工作流可视化构建器,通过拖放节点设计复杂的工作流,集成 OpenAI 等多个平台
|
25天前
|
人工智能 自然语言处理 前端开发
Lobe Vidol:AI数字人交互平台,可与虚拟人和3D模型聊天互动
Lobe Vidol是一款开源的AI数字人交互平台,允许用户创建和互动自己的虚拟偶像。该平台提供流畅的对话体验、丰富的动作姿势库、优雅的用户界面设计以及多种技术支持,如文本到语音和语音到文本技术。Lobe Vidol适用于娱乐互动、在线教育、客户服务、品牌营销和社交媒体等多个应用场景。
88 7
Lobe Vidol:AI数字人交互平台,可与虚拟人和3D模型聊天互动
|
1月前
|
存储 人工智能 弹性计算
阿里云弹性计算(ECS)提供强大的AI工作负载平台,支持灵活的资源配置与高性能计算,适用于AI训练与推理
阿里云弹性计算(ECS)提供强大的AI工作负载平台,支持灵活的资源配置与高性能计算,适用于AI训练与推理。通过合理优化资源分配、利用自动伸缩及高效数据管理,ECS能显著提升AI系统的性能与效率,降低运营成本,助力科研与企业用户在AI领域取得突破。
52 6
|
1月前
|
人工智能 供应链 安全
AI辅助安全测试案例某电商-供应链平台平台安全漏洞
【11月更文挑战第13天】该案例介绍了一家电商供应链平台如何利用AI技术进行全面的安全测试,包括网络、应用和数据安全层面,发现了多个潜在漏洞,并采取了有效的修复措施,提升了平台的整体安全性。
|
1月前
|
人工智能 Cloud Native 算法
|
1月前
|
存储 人工智能 文字识别
利用AI能力平台实现档案馆纸质文件的智能化数字处理
在传统档案馆中,纸质文件管理面临诸多挑战。AI能力平台利用OCR技术,通过图像扫描、预处理、边界检测、文字与图片分离、文字识别及结果存储等步骤,实现高效数字化转型,大幅提升档案处理效率和准确性。
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI驱动的个性化学习平台构建###
【10月更文挑战第29天】 本文将深入探讨如何利用人工智能技术,特别是机器学习与大数据分析,构建一个能够提供高度个性化学习体验的在线平台。我们将分析当前在线教育的挑战,提出通过智能算法实现内容定制、学习路径优化及实时反馈机制的技术方案,以期为不同背景和需求的学习者创造更加高效、互动的学习环境。 ###
76 3
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
医疗行业的语音识别技术解析:AI多模态能力平台的应用与架构
AI多模态能力平台通过语音识别技术,实现实时转录医患对话,自动生成结构化数据,提高医疗效率。平台具备强大的环境降噪、语音分离及自然语言处理能力,支持与医院系统无缝集成,广泛应用于门诊记录、多学科会诊和急诊场景,显著提升工作效率和数据准确性。
|
1月前
|
SQL 人工智能 DataWorks
DataWorks:新一代 Data+AI 数据开发与数据治理平台演进
本文介绍了阿里云 DataWorks 在 DA 数智大会 2024 上的最新进展,包括新一代智能数据开发平台 DataWorks Data Studio、全新升级的 DataWorks Copilot 智能助手、数据资产治理、全面云原生转型以及更开放的开发者体验。这些更新旨在提升数据开发和治理的效率,助力企业实现数据价值最大化和智能化转型。