带你读《深入理解AutoML和AutoDL:构建自动化机器 学习与深度学习平台》之二:自动化人工智能

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 本书从理论与实践的双重维度,对AutoML和AutoDL的入门知识和进阶知识做了全面介绍。

点击查看第一章
点击查看第三章
第2章

自动化人工智能

我们在第1章主要概述了人工智能,并在1.5节中引出了AutoML—自动化人工智能,本章将介绍AutoML,包括AutoML的概述、发展、研究意义以及现有的AutoML平台和产品,其中还会穿插介绍一些平台的应用实例。本章只介绍概念性知识,关于AutoML的实际运用将在第二部分(第3~6章)和第三部分(第7~13章)详细展开。

2.1 AutoML概述

传统的人工智能旨在使用机器帮助人类完成特定的任务,随着人工智能的发展,在计算机领域衍生出了机器学习。机器学习旨在通过计算机程序完成对数据的分析,从而得到对世界上某件事情的预测并做出决定。随着机器学习的不断发展,其复杂程度也在不断增高,如果还完全依靠人为规定,使计算机按照设定的规则运行,会耗费大量的人力资源。如果让计算机自己去学习和训练规则,是否能达到更好的效果呢?跟随这一意愿的提出,就出现了本书的核心思想—自动化人工智能,也就是所谓“AI的AI”。让AI去学习AI,从而减少人工的参与,让机器完成更复杂的工作,这掀起了下一代人工智能的浪潮。

2.1.1 什么是自动化

在介绍自动化人工智能之前,先让我们了解一下什么是自动化。传统的自动化是指让机器等设备在没有人或者只有较少人参与的情况下,按照人的要求,完成一系列任务。自动化被广泛应用于各种行业,包括农业、工业、商业、医疗等领域。从20世纪40年代中期电子数字计算机的发明开始,数字程序控制便成为了一个新的发展方向。20世纪50年代末期,微电子技术开始发展,1958年出现晶体管计算机,1965年出现集成电路计算机,1971年出现单片微处理器。微处理器的出现对控制技术产生了重大影响,控制工程师可以很方便地利用微处理器来实现各种复杂的控制,使综合自动化成为现实。
自动化的概念跟随时代变化不断发展。以前,自动化被认为是让机器代替人工操作、完成复杂的特定工作任务。后来随着电子和信息技术的发展,特别是随着计算机的出现和广泛应用,自动化的概念被认为是用机器(包括计算机)不仅要代替人的体力劳动,还要代替或辅助脑力劳动,以自动地完成特定的任务。
随着自动化的发展,各行各业对于自动化的需求不断增加,且对人工智能的普及和应用的要求也越来越高,成本、精确度、效率等都影响着人工智能在现实生活中的应用。在人工智能应用的快速增长中,为了提高其水平,出现了对机器学习的需求。
那么如何将自动化的思想应用到机器学习中呢?

2.1.2 AutoML的起源与发展

AutoML(Automated Machine Learning,自动化机器学习),即一种将自动化和机器学习相结合的方式,是一个新的研究方向,它可以使计算机独立完成更复杂的任务,从而解放人类的双手。
在AutoML发展前,传统的机器学习需要经历数据预处理、特征选择、算法选择和配置等,而传统的深度学习则需要经历模型架构的设计和模型的训练。上述这些步骤都需要人工来操作,不仅耗时耗力,而且对专业人员的需求也比较大,结合现实生活中人们日益增长的需求,这限制了人工智能在其他领域的应用发展。
因此,出现了这样的想法:将机器学习中的数据预处理、特征选择、算法选择等步骤与深度学习中的模型架构设计和模型训练等步骤相结合,将其放在一个“黑箱”里,通过黑箱,我们只需要输入数据,就可以得到我们想要的预测结果。中间这个“黑箱”的运行过程,不需要人工的干预便可以自动完成,而这个自动化的系统就是我们这本书的重点—AutoML。
图2-1为AutoML的一个通用运行流程,也就是上面提到的,将所有运行流程都封装在一个“黑箱”中,我们只需要输入数据集,便可得到预测结果。
AutoML主要关注两个方面—数据的获取和预测。目前已经出现了很多AutoML平台(见2.3节),用户在使用这些平台时,可以使用自己带的数据集,识别标签,从而得到一个经过充分训练且优化过的模型,并用该模型进行预测。大多数平台都会提示用户上传数据集,然后标记类别。在此之后,数据预处理、选择正确的算法、优化和超参数调整等步骤都是在服务器上自主进行的。最后,平台将公开一个可用于预测的REST端点。这种方法显著改变了训练机器学习模型中涉及的传统工作流。
一些AutoML平台还支持导出与运行Android或iOS的移动设备兼容的、经过充分训练的模型。开发人员可以快速地将模型与他们的移动应用程序整合在一起,而无须学习机器学习的基本知识。
image.png

图2-1 AutoML通用流程

许多公司将AutoML作为一种服务提供给用户。Google Cloud AutoML、Microsoft Custom Vision和Clarifai的图像识别服务都是早期的AutoML使用者。另外很多大公司内部也都有自己的平台,例如Uber、OpenAI、DeepMind等都在NAS任务上做研究。从发展趋势来看,AutoML是未来人工智能发展的一个重要方向,但现阶段的研究成果成熟度和实际产品应用成熟度都存在巨大的提升空间。
AutoML完全适合于认知API和定制机器学习平台。它提供了适当的定制级别,而非强制开发人员执行复杂的工作流。与以往被视为“黑箱”的认知API相比,AutoML虽然公开了相同程度的灵活性,但是结合了自定义数据和可移植性。
随着每一个平台供应商都试图实现机器学习的大众化,AutoML正在成为人工智能的未来。图2-2是基于AutoML平台所具有的功能,在AutoML平台上可以实现多个领域的融
image.png

图2-2 AutoML平台具备的功能

合,既可以完成语音领域的任务,如自动语音识别系统、聊天机器人、文本语音系统;也可以完成声纹领域的任务,如声纹识别系统;还可以完成图像领域的任务,如计算机视觉、图像识别、目标检测等。

2.2 AutoML的研究意义

2.2.1 AutoML的研究动机

传统的机器学习在解决问题时,首先需要对问题进行定义,然后针对特定问题收集数据,由专家对数据特征进行标定、提取特征、选择特征,然后根据所选特征训练模型、对模型进行评估,最后部署到应用上,以解决最初提出的问题。其中数据收集、特征提取、特征选择、模型训练和模型评估的过程,是一个迭代的过程,需要反复进行、不断优化才能得到较优的模型。这个过程非常耗时费力,那么AutoML呢?AutoML可以将传统机器学习中的迭代过程综合在一起,构建一个自动化的过程,实现自动特征工程、自动管道匹配、自动参数调整、自动模型选择等功能,从而减少时间和人力等资源的浪费。图2-3所示是传统机器学习和自动化机器学习的对比。
image.png

图2-3 传统机器学习和自动化机器学习对比

(1)传统机器学习是一个烦琐且耗时的过程
传统的AI模型训练往往要经历特征分析、模型选择、调参、评估等步骤,这些步骤需要经历数月的时间,如果完全没经验,时间会更长。AutoML虽然也需要经历这些步骤,但是通过自动化的方式,可以减少这些步骤的时间。选择怎样的参数,被选择的参数是否有价值或者模型有没有问题,如何优化模型,这些步骤在从前是需要依靠个人的经验、知识或者数学方法来判断的。而AutoML可以完全不用依赖经验,而是靠数学方法,由完整的数学推理的方式来证明。通过数据的分布和模型的性能,AutoML会不断评估最优解的分布区间并对这个区间再次采样。所以可以在整个模型训练的过程中缩短时间,提升模型训练过程的效率。
(2)传统机器学习有一定难度,准入门槛高
模型训练的难度使得很多初学者望而却步,即使是数据专家也经常抱怨训练过程是多么令人沮丧和变化无常。没有经过一定时间的学习,用户很难掌握模型选择、参数调整等步骤。
AutoML可以降低使用机器学习的门槛,它作为一个新的AI研究方法,将机器学习封装成云端产品,用户只需提供数据,系统即可完成深度学习模型的自动构建,从而实现自动化机器学习。
AutoML将会成为机器学习发展的最终形态,即机器自己完成学习任务,这样基于计算机强大计算能力所获得的模型将优于人类对它定义的模型。从使用的角度来讲,必定会有更多非专业领域的人受益于AutoML的发展。
图2-4展示的是一个使用AutoML进行图片分类的简单问题。首先上传图片并对图片进行标注;接着被标注过的图片会输入到视觉处理系统中,由视觉处理系统根据上传的图片,对标注区域的特征进行提取,并进行特征的预处理,之后根据图片特征,自动构建神经网络结构并训练该模型;经过不断地评估和优化,最后得到一个预测模型。
image.png

图2-4 使用AutoML进行图片分类

2.2.2 AutoML的意义和作用

21世纪是一个信息的时代,各行各业都面临着一个同样的问题,那就是需要从大量的信息中筛选出有用的信息并将其转化为价值。随着机器学习2.0的提出,自动化成为了未来机器学习发展的一个方向。如图2-5所示,各行各业都涉及机器学习,机器学习已经融入我们生活的方方面面,比如金融、教育、医疗、信息产业等领域。

image.png


图2-5 机器学习可赋能产业

对于一个机器学习的新人来说,如果他想使用机器学习,则会遇到很多的障碍,也会受到很多的限制,例如:该怎样处理数据、如何选择模型、使用怎样的参数、模型效果不好该如何优化等。AutoML使得机器学习大众化,让这些连专业术语都不懂的人,也可以使用机器学习。他们只需要提供数据,AutoML便会自动得出最佳的解决方案。而对于有一定机器学习基础的人来说,则可以自己选择模型、参数,然后让AutoML帮助训练模型。
AutoML带来的不仅仅是自动化的算法选择、超参数优化和神经网络架构搜索,它还涉及机器学习过程的每一步。从数据预处理方面,如数据转换、数据校验、数据分割,到模型方面,如超参数优化、模型选择、集成学习、自动化特征工程等,都可以通过AutoML来完成,从而减少算法工程师的工作量,使他们的工作效率得到进一步提升。
图2-6所示为2018年各人工智能行业的资金投入量,其中机器学习领域的资金投入量最大,说明了机器学习对于现在的人工智能的重要性。在其他领域,自然语言处理、计算机视觉、智能机器人、语音识别等,资金投入量也不容小觑。AutoML可以融合上述方面,实现自动化。目前,人工智能领域也确实是朝着这个方向发展,将各个行业融合在一起,只需要一个AutoML的服务器,即可实现各个领域的融合,方便用户的使用,使其更快地融入我们的现实生活,方便我们的生活。
(1)AutoML解决了人工智能行业人才缺口的瓶颈
对于急速发展的人工智能领域来说,人才的培养显得有些不足。人工智能的发展时时刻刻都在变化,而培养一批该行业的专业人员通常需要几年的时间。以青年人群为例,从上大学开始,学校才会根据专业对他们进行培养。如果选择计算机专业,本科教育通常只会让他们了解到计算机的基础知识,使其具备基本的编程能力;通常到研究生阶段,才会接触到机器学习等复杂的人工智能。这就需要至少6年的时间才能培养出一批机器学习领域的从业人员。这样长的人才培养周期是无法跟上人工智能行业快速发展的脚步的,而AutoML就很好地解决了这一问题。AutoML可以提供自动化的服务,对于曾经需要人工参与的数据处理、特征处理、特征选择、模型选择、模型参数的配置、模型训练和评估等方面,实现了全自动,仅凭机器就可以独立完成这一系列工作,不需要人工干预,从而减少了人力资源的浪费,解决了人才紧缺的问题。
image.png

图2-6 2018年各人工智能行业资金投入量

但是,这就涉及另一个问题了,既然机器可以完成大部分的工作,是否会造成相关专业人员的失业问题呢?其实,这个答案必然是否定的,AutoML可以解决人才紧缺的状况,但是并不代表它能取代专业人士。现有的AutoML平台虽然可以完成这些步骤的自动化处理,但是其中的规则仍然需要人工设定,也就是说,专业人士并不会面临失业的困境,而是要做更高端的工作。
(2)AutoML可以降低机器学习的门槛,使AI平民化
前文已经提到过很多次,机器学习的自动化可以降低机器学习的入门门槛。无论是机器学习新人、机器学习行业从业者,还是机器学习行业专家,都可以很好地适应AutoML,并使用它提供的服务。对于机器学习新人来说,只需要提供数据集上传至AutoML服务器,即可得到预测结果;对于机器学习行业的从业者而言,可以自主选择其中的参数;对于机器学习行业专家来说,可以在AutoML平台设置更多的参数,或者进一步研发AutoML。
(3)AutoML可以扩大AI应用普及率,促进传统行业变革
AutoML可以涉及图像识别、翻译、自然语言处理等多种AI技术与产品。以自然语言处理为例,比如一个小的电商网站想对收集到的大量用户评价进行分析,了解这些评价是正面的还是负面的,以及提到了哪方面的问题。从前需要人工进行标注,现在用AutoML自然语言处理,就可以很简单地训练一个属于自己的模型,自动化地做标注和分析。
如今,AI技术的普及和发展,使得各个行业都逐步意识到AI技术对于产业、产品方面的优化作用。但是,作为金融、制造、消费、医疗、教育等传统企业,从无到有应用AI的成本往往不低,使得很多企业虽然有着需求但对于应用AI望而却步。
AutoML作为这类问题的解决方案,使得越来越多的科技企业开始研发AutoML平台,目的就是为不懂技术的传统企业提供使用AutoML技术的捷径,从而达到人人皆可用AI的局面。AutoML作为一个新的AI研究方法,扩展了AI研究能够到达的边界,然后又在其上构建了AutoML的应用平台及产品,让AI的应用得到了较为有效的扩展,让更多行业都可以用AI解决现实世界中的问题。

2.3 现有AutoML平台产品

2.3.1 谷歌Cloud AutoML

1.简介
Cloud AutoML(https://cloud.google.com/automl)是一套机器学习产品,通过利用Google最先进的元学习、迁移学习和神经架构搜索技术,使机器学习专业知识有限的开发人员也能根据业务需求训练高质量模型。Cloud AutoML主要提供以下3个领域的AutoML服务:图像分类、文本分类以及机器翻译。在图像分类领域,谷歌提供了大量标注良好的人类图像供开发者使用,同时提供了标注工具允许开发者自行对图像进行标注。
2.使用方式
谷歌Cloud AutoML系统提供了图像用户界面,以及Python API、Java API和Node.js API等使用方式。
首先来看看图形用户界面(见图2-7),它按照数据准备、训练、评估、预测等步骤进行组织,使用者只需要按照规定执行一步就可以完成整个过程。
image.png

图2-7 Cloud AutoML图形用户界面

再来看看通过API的方式进行接口调用,以Python为例,如图2-8所示。
image.png

图2-8 Cloud AutoML的API调用

使用者可以根据自身的习惯和需要,选择图形界面方式或者API方式并使用自己熟悉的语言去完成整个流程,从而保证该平台的通用性。从这个角度而言,该平台既可以有效服务入门级使用者,也可以服务专家级算法工程师并与大型项目对接。
Cloud AutoML中重要的一环Cloud AutoML Vision代表了深度学习去专业化的关键一步。企业不再需要招聘人工智能专家来训练深度学习模型,只需要有简单基础的人通过Web图像用户界面上传几十个示例图像,点击一个按钮即可完成整个深度神经网络的构建与训练,同时完成后可以立即部署于谷歌云上进入生产环境。
3.迁移学习与元学习的运用
Cloud AutoML利用了元学习与迁移学习。元学习与迁移学习可以有效利用过去的训练经验与训练数据,这意味着用户不再像过往那样需要提供海量的数据进行模型训练,而只需要提供较少的数据就可以完成一个图像分类器的训练并应用于特定场景。这背后是谷歌大量的基础训练数据源和训练经验与记录的支撑。
另外,迁移学习与元学习的应用涉及用户数据隐私与平台性能的权衡问题。如果Cloud AutoML可以将用户的数据与训练经验都积累起来并提供给其他用户使用,那么该平台的底层数据积累便会越来越雄厚,其使用效果也会越来越好。但是,大多数客户都不会希望自己的数据被泄漏,因此上述的美好愿景也不一定能实现。

2.3.2 百度EasyDL

1.简介
不同于传统意义上的AutoML,EasyDL是一个专门针对深度学习模型训练与发布的平台。在EasyDL之前,百度就已经有了深度学习计算引擎PaddlePaddle。PaddlePaddle是一个类似于谷歌TensorFlow的专业级计算平台,目标群体是有一定计算机与算法基础的专业AI算法工程师。
除此之外,百度还有百度AI开放平台,用户可以通过平台提供的API付费调用百度的AI算法能力实现自己的需求。但是AI开放平台的算法模型很多时候难以覆盖全部的场景,因此对于很多企业而言,还存在着大量等待被满足的定制化需求。
EasyDL平台的出现是为了解决AI赋能行业的这个痛点,以一种便捷高效的方式满足这些定制化深度学习模型需求以及伴随而来的其他需求。用户上传自己的数据,在平台上进行数据标注、加工、训练、部署和服务,最终得到云端独立的REST API或一个离线SDK,从而方便地将模型部署到自己的业务场景中。
目前该平台提供图像识别、文本分类、声音分类等服务分类(见图2-9)。图像识别领域支持图像分类以及物体检测,文本分类领域支持广泛的文本分类,而声音分类领域提供音频定制化识别服务。
image.png

图2-9 EasyDL的3个主要服务领域

目前EasyDL的各项定制能力在业内得到广泛应用,用户累计过万,在零售、安防、互联网内容审核、工业质检等数十个行业都有应用落地,并提升了这些行业的智能化水平和生产效率。
2.使用方式
由于目标群体主要为没有相关专业知识但又想要利用AI进行行业赋能的外行使用者,EasyDL提供了一个流水线式的可视化界面(见图2-10)。其功能分为数据中心与模型中心:数据中心负责数据集的管理与标注,模型中心负责训练与部署。
使用者基本上无需机器学习的专业知识,只需要对过程有简单的了解,跟随界面的流程执行模型创建—数据上传—模型训练—模型发布等流程,中间的过程平台会通过迁移学习、自动化建模技术等方式完成。
3.自动化建模技术
在自动化建模上,EasyDL平台有两种不同的方法:一种是基于迁移学习的Auto Model Search,另一种是基于神经架构搜索的模型自动生成方法。
image.png

图2-10 EasyDL的可视化界面

基于迁移学习的Auto Model Search方法是针对用户数据集的类型,在适用于该类型数据集的过去被证明优秀的预训练模型中进行搜索,如Inception、ResNet、DenseNet等,并结合不同的超参数组合进行训练与选择;每一个模型都会结合其配置的超参组合进行训练,这个过程可以通过百度的workflow等高性能底层计算平台进行并行加速。
对于某些对性能需求更高的用户而言,上述方式不一定能够把模型性能推到极致;因此还需要基于神经架构搜索NASNet的方法,该方法能够针对用户的数据集从零开始生成一个最适配的模型,从而确保性能可以达到最优,但是相对的计算成本也会更高;在本书的后续章节会对NASNet等神经架构搜索方法进行讲解。
这些过程都是在底层自动完成的,用户完全不需要操心中间的细节问题。

2.3.3 阿里云PAI

1.简介
阿里云机器学习PAI(Platform of Artificial Intelligence)是一款一站式的机器学习平台,包含数据预处理、特征工程、常规机器学习算法、深度学习框架、模型的评估以及预测这一整套机器学习相关服务(见图2-11)。
2.面向大规模计算与多场景多业务的产品架构
PAI包含数据预处理、特征工程、机器学习算法等基本组件;所有算法组件全部脱胎于阿里巴巴集团内部成熟的算法体系,经受过PB级别业务数据的锤炼。阿里巴巴内部的搜索系统、推荐系统、蚂蚁金服等项目在进行数据挖掘时,都是依赖机器学习平台产品。如图2-12所示,PAI平台的业务十分广泛,支持多种计算框架。算法层不仅包含数据预处理、特征工程等基本算法,也涵盖各种机器学习算法、文本分析和关系网络分析等。
image.png

图2-11 阿里云PAI工作流程图

image.png

图2-12 阿里云PAI产品架构图

3.丰富的机器学习模块库
阿里云可以快速搭建数据预处理、特征工程、算法训练、模型预测和评估的整个链路,提供百余种机器学习算法组件,深耕深度学习计算架构,底层支持GPU分布式集群计算,功能可覆盖数据导入与处理、数据特征工程、机器学习深度学习、商品推荐、金融数据预测与风控、文本分析、统计分析、网络图分析等常见场景。
4.拖曳式可视化建模—PAI Studio
PAI提供了3种不同的模式:为新手设计的可视化PAI Studio模式、为高级使用者设计的PAI Notebook模式,以及专门针对生产部署的PAI EAS模式。
PAI Studio可视化模式允许客户通过拖曳组件的方式完成整个机器学习的流程(见
图2-13),用户无须过多关注底层的代码和算法,简单使用与测试即可。
image.png

图2-13 阿里云PAI拖曳式组件

数据导入:首先将数据存入阿里云的MaxCompute系统中,接着就可以轻松导入数据。
数据预处理与建模全流程:全流程都可以通过拖曳完成,拖曳后简单设置一下相应的参数与属性即可。图2-14是一个简单的建模流程示例。
image.png

图2-14 阿里云PAI建模流程示例

5.工业级机器学习自动调参与部署服务
PAI提供了从模型自动调参到一键部署,再到线上的流式计算服务等一条龙的工业级模型部署方案;打通了从模型调参到部署的环节,通过自动化的手段大幅提高各个环节与阶段的生产效率。
PAI-AutoML支持几种调参方法,如自定义参数、网格搜索、随机搜索以及进化算法等,也支持不同情况下的调参需求。
PAI自动调参功能对于资深算法工程师以及入门者都有很大价值。针对入门用户,该类用户不清楚算法原理,因此无法高效调参,所以自动调参可以快速帮助这部分用户解决这个困扰。针对资深算法工程师,尽管其对于调参有一定经验,但是这种经验往往只能在大方向上指导调参,对于一些细节参数仍需要不断重复尝试,而自定义调参功能可以代替这部分重复性劳动。
在生成模型后,可以在PAI平台一键将模型发布成API服务。只要点击部署按钮,就会列出当前实验可部署的模型,选择需要的模型就可以一键完成部署,图2-15所示的是一个心脏病预测案例的模型在线部署示例。
image.png

图2-15 阿里云PAI模拟在线部署示例图

2.3.4 探智立方DarwinML

1.简介
探智立方是一家开发人工智能相关技术和解决方案的科技公司,公司主要基于AutoML理念,开发人工智能模型自动设计平台DarwinML,降低人工智能的应用门槛,让各行业的IT人员、行业专家能更便捷地将人工智能相关技术落地于各种适合并需要的场景中,解决广大企业面临的人工智能人才及能力不足的问题。
DarwinML是以机器学习及基因演化理论为基础的人工智能模型自动设计平台,是一种基于进化算法的神经架构搜索方法。谷歌在2018年发表的一篇基于进化算法的论文证明了采用进化算法也可以取得超越专家工程师的效果,本书后续章节也会有相关内容的介绍。
图2-16为探智立方的roadmap规划。
image.png

图2-16 探智立方roadmap规划图


由于该公司没有AI开放平台与试用产品,因此无法提供使用调研信息。
2.进化架构搜索
进化架构搜索是基于进化算法一代又一代进行搜索与升级的方法,如图2-17所示。每一次模型的生成都会从最简单的网络开始,逐渐通过交叉与变异等算子形成复杂的大型网络。
3.统计进化
DarwinML还采用了基于统计分析的进化算法的元学习思路,在不断的模型演化过程中,可以保存发现的好的模型基因和高效的模型演化路径形成基因库。有了这些经验与积累,平台的算法能力就会不断提高,进而提高模型演化的效率和演化出模型的质量。
image.png

图2-17 进化架构搜索图

2.3.5 第四范式AI Prophet AutoML

1.简介
AI Prophet AutoML是一款覆盖了机器学习全流程的自动化产品,帮助企业低门槛、规模化拥有自主可控的AI能力,从而在广告营销、风险控制等高价值、高难度决策类场景中拥有出色的决策能力。 AI Prophet AutoML通过简洁、易理解、易操作的方式覆盖了从模型调研到应用的机器学习全流程,打通了机器学习的闭环。用户只需“手机行为数据、手机反馈数据、模型训练、模型应用”4步,无须深入理解算法原理和技术细节,即可实现全流程、端到端的AI平台构建。在降低门槛的同时,其构建编码方式也与传统人工智能方法不同,AI Prophet AutoML提供了“傻瓜式”的交互界面,即让企业免去编码定义建模的过程,将开发AI应用的周期从以半年为单位缩短至周级别。
2.应用场景与数据处理
AI Prophet AutoML还展现出了比较高的模型水准。在疾病预测、金融反欺诈、互联网推荐、广告营销、风险控制等高价值、高难度的决策类场景测试下,该平台做出了接近甚至超过顶级数据科学家的模型数倍的效果,让AI拥有出色的决策能力。另外,模型可一键上线,生成预测API,也可根据需求自动上线。系统支持资源自动弹性伸缩。
在数据管理方面,该产品针对AI应用设计数据治理流程,包括数据自动推断、自动清洗、预处理、自动标记等,由此将数据分为行为数据与反馈数据的管理,更符合AI应用的场景,有目的性地让数据为AI服务。
在企业数据方面,从历史数据的利用到模型上线后新产生数据的自动回流,再到新数据的自动训练,一系列的过程使得企业数据变为活水,不断产生与使用,常用常新,越来越精准。如图2-18所示,是一个在线广告投放的案例,该企业的过程数据不仅可用于投放在线广告,还可以实现个性化推荐和实时反欺诈功能。
第四范式致力于提供通用的平台能力,降低AI应用的门槛,为企业打造一套自动化、流程化的工具。AutoML平台,是第四范式在先知系统的基础上进一步降低企业AI落地应用门槛和TCO成本,拓展衍生平台专业应用能力和生态产业链的成果。
image.png

图2-18 企业数据应用

2.3.6 智易科技

1.简介
智易科技通过一站式的AI研发与应用云服务平台,帮助零售、制造、金融、教育、医疗等各行各业的企业更加简单便捷地进行AI应用的开发与部署,低成本拥有人工智能,从而获得更大的商业价值。智易深思平台可以帮助任何企业用户快速开发出可应用与实际生产环境的AI模型,用户只需要将数据导入并选择预测目标,平台即可给出最优模型。如图2-19所示,深思平台定位零门槛和全程可视化的人工智能应用开发平台,用户不需要掌握任何AI相关的理论和知识,就可以轻松上手。
image.png

图2-19 智易深思平台架构图

2.平台介绍
深思平台是一个庞大的系统集合,包括底层的分布式集群、云基础设施;上层的AI模型研发、分布式训练架构以及大数据引擎,如Hadoop、Spark等;同时拥有ETL层,可对数据进行处理,有可视化和BI等功能;并在面向前端用户时,搭建了基于浏览器的可视化操作页面,大幅降低了使用门槛。AutoML是深思平台中的关键技术之一。目前,深思平台主要应用在金融业、零售业以及工业中,支持结构化数据和图像数据,可以帮助客户完成反欺诈、销量预测以及产品缺陷检测等一系列AI应用。平台具有应用门槛低、高度自动化的工具链、多场景模型训练支持、大规模的分布式系统管理等优点。

2.4 参考文献

[1] OUELLETTE R. Automation impacts on industry [M]. Ann Arbor: Ann Arbor Science Publishers, 1983.
[2] BENNETT S. A history of control engineering 1800-1930 [M]. Stevenage: Peter Peregrinus, 1979.
[3] HUTTER F, CARUANA R, BARDENET R, et al [C].AutoML workshop @ ICML 2014, 2014.
[4] YAOQ M, WANGM S, CHEN Y Q, et al. Taking human out of learning applications: a survey on automated machine learning [J]. arXiv:1810.13306, 2018.
[5] SPARKS E R, TALWALKAR A, HAAS D, et al. Automating model search for large scale machine learning[C]//SIGMOD. 2015 ACM Symposium on Cloud Computing, New York: ACM, 2015: 368–380.

相关实践学习
基于函数计算实现AI推理
本场景基于函数计算建立一个TensorFlow Serverless AI推理平台。
相关文章
|
1月前
|
机器学习/深度学习 人工智能 算法
【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与机器学习:开启智能新时代的密钥
人工智能与机器学习:开启智能新时代的密钥
26 0
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习算法:探索人工智能的前沿
深度学习算法:探索人工智能的前沿
|
1月前
|
机器学习/深度学习 人工智能 TensorFlow
人工智能与图像识别:基于深度学习的卷积神经网络
人工智能与图像识别:基于深度学习的卷积神经网络
34 0
|
20天前
|
机器学习/深度学习 人工智能 运维
【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)(二)
【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)
53 1
|
20天前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)(一)
【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)
59 1
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
浅谈人工智能之深度学习~
浅谈人工智能之深度学习~
|
1月前
|
机器学习/深度学习 人工智能 算法
人工智能与深度学习:图像识别的魔法
人工智能与深度学习:图像识别的魔法
17 0
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
解密人工智能:探索机器学习奥秘
解密人工智能:探索机器学习奥秘
19 1

热门文章

最新文章