谈谈深度学习的4个问题|

简介: 人工智能(AI)是数字时代的一项变革性技术,其在整个经济中的实际应用正在迅速增长。

   序言

   人工智能(AI)是数字时代的一项变革性技术,其在整个经济中的实际应用正在迅速增长。将深度学习技术应用于经济环境中会产生巨大价值,随着技术的不断发展,还有持续的局限性和障碍,但是未来还有巨大应用潜力。人工智能的价值并不是在模型本身中发现的,而是在组织利用它的能力中体现的。

   重要的是要强调一点,即使我们不断发掘AI技术的经济价值,但数据的使用也必须考虑到各种问题,包括数据的安全性,数据隐私等问题。本文我们会谈到以下四个问题:

  1. AI的技术问题
  2. AI应用的理解
  3. AI价值的评估
  4. AI的价值之路

AI的技术问题

   随着人工智能技术的发展,构成AI的技术定义也在不断变化。本文中的AI特指神经网络深度学习技术

0e1b61f1883718da0a49c035f3501cf7.png

   神经网络是机器学习技术的子集。本质上它是基于模拟连接的“神经单元”的AI系统,对神经元在大脑中的交互方式进行了建模。自1940年代以来,科学界一直研究受神经连接启发的计算模型,并且随着计算机处理能力的提高和大量训练数据集已成功用于分析图像、视频和语音等输入数据后,这种计算模型又重新受到关注。人工智能技术人员将这种技术称为“深度学习”,因为神经网络具有许多(“深度”)模拟互联神经元层。

   以下是三种神经网络技术的应用和价值:

   ■ 前馈神经网络:最简单的人工神经网络。在这种体系结构中,信息仅在一个方向上移动,即从输入层到“隐藏”层,一直到输出层。网络中没有环路。AI先驱Frank Rosenblatt已于1958年提出了第一个单神经元网络。尽管这个想法并不新鲜,但计算能力、训练算法和可用数据的进步带来了比以前更高的性能水平。

   ■递归神经网络(RNN):人工神经网络,其神经元之间的连接包括回路,非常适合处理输入序列。2016年11月,牛津大学的研究报告说,基于递归神经网络(和卷积神经网络)的系统在读取嘴唇方面达到了95%的准确率,优于经验丰富的人类嘴唇读取器,后者的准确率是52%。

   ■卷积神经网络(CNN):在人工神经网络中,神经层之间的连接受到动物视觉皮层(处理图像的大脑部分)的组织的启发,非常适合感知任务。

对于应用,还有另外两种技术-生成对抗网络(GAN)和强化学习-但现在还未将它们包括在对AI的潜在价值评估中,因为它们仍然是尚未得到广泛应用的新生技术。

   ■生成对抗网络(GAN)使用两个神经网络在零和博弈框架中相互竞争(因此称为“对抗”)。GAN可以学习模拟各种数据分布(例如文本、语音和图像),因此在不易获得这些数据集时,在生成测试数据集方面非常有价值。

   ■强化学习是机器学习的子领域,在该子领域中,系统通过接收虚拟的“奖励”或“惩罚”来训练系统,实质上是通过反复试验来学习。Google DeepMind使用强化学习来开发可以玩游戏的系统,其中包括视频游戏和棋盘游戏(例如阿尔法Go),要比人类的冠军更优秀。

   在业务环境中,可以将这些分析技术应用于解决现实中的问题,最普遍的问题类型是分类、连续估算和聚类。下面提供了问题类型及其定义的列表。

   分类:基于一组训练数据,将新输入归为一组类别中的一个。分类的示例是识别图像是否包含特定类型的对象(例如猫或狗)或来自生产线的质量合格的产品。

   连续估算:根据一组训练数据,估计序列中的下一个数值。这类问题有时被称为“预测”,尤其是当应用于时间序列数据时。连续估算的一个示例是根据一组输入数据(例如先前的销售数字,消费者情绪和天气)来预测产品的销售需求。

   聚类:这些问题需要系统创建一组类别,对于这些类别,单个数据实例具有一组相同或相似的特征。聚类的一个示例是根据有关个人消费者的一组数据(包括人口统计,偏好和购买者行为)创建一组消费者细分。

   优化:这些问题需要系统生成一组输出,以优化特定目标函数的结果。优化的一个例子是为车辆创建一条路线,该路线创造了时间和燃料利用率的最佳组合。

   异常检测:给定一组训练数据,确定特定输入是否异常。例如,可以在一组与操作机器的性能相关的历史振动数据上训练系统,然后确定是否有新的振动读数表明该机器未正常运行。异常检测可以视为分类的子类别。

   排序:排名算法最常用于信息检索问题,在该问题中,查询或请求的结果需要按某种标准进行排序。推荐下一个要购买的产品的推荐系统将使用这些类型的算法作为最后一步,在将结果呈现给用户之前按相关性对建议进行排序。

   推荐:这些系统根据一组数据提供建议。推荐的常见示例是根据相似个体的购买模式和特定个体的观察到的行为为个体购买者推荐“下一个要购买的产品”的系统。

   数据生成:这些问题需要系统根据训练数据生成适当的新数据。例如,在对音乐进行了训练之后,可以使用音乐创作系统来生成特定风格的新音乐。

AI应用的理解

   通过研究,使用AI来改善现有业务性能的应用包括以下几个方面:

   ■预测性维护:机器学习检测异常的能力。深度学习分析大量高维数据的能力可以将现有的预防性维护系统提高到一个新的水平。从其他传感器(包括相对便宜的传感器,例如麦克风和照相机)中分层添加其他数据(例如音频和图像数据),神经网络可以增强并可能替代更传统的方法。AI能够预测故障并允许有计划的干预措施,可用于减少停机时间和运营成本、同时提高产量。例如,人工智能可以通过结合飞机模型数据、维修历史记录、物联网传感器数据(例如发动机振动数据的异常检测)以及发动机状况的图像和视频,来将货机的使用寿命增加到使用传统分析技术无法实现的范围。

   ■人工智能驱动的物流优化:可以通过实时预测和行为指导来降低成本。诸如连续估算之类的人工智能技术在物流中的应用可以为各个部门增加可观的价值。AI可以优化运输路线,从而提高燃油效率并减少运输时间。例如,一家欧洲货运公司通过使用同时监控车辆性能和驾驶员行为的传感器,将燃油成本降低了15%。驾驶员接受实时指导,包括何时加速或减速,优化油耗并降低维护成本。

   ■人工智能成为应对客户服务管理和个性化挑战的首选工具:由于应用了AI技术,改善了呼叫中心管理和呼叫路由中的语音识别,从而提供了更加无缝的客户体验,并提高了处理效率。这些功能不仅限于文字。例如,对音频的深度学习分析使系统可以评估客户的情绪基调;如果系统发现客户的情绪不佳,则可以将呼叫自动转接给人工操作员和经理。在市场营销领域,人工智能技术也可能产生重大影响。将客户人口统计数据和过去的交易数据与社交媒体监控相结合,可以帮助生成个性化的产品推荐。

   一、在使用AI的技术中有三分之二是在改善现有业务分析的性能

   在研究的69%的应用中,深度神经网络可用于提高性能,而其他分析技术无法提供这种功能。使用神经网络的案例仅占总数的16%,在剩下的15%中,人工神经网络提供了比其他分析技术有限的额外性能,其中一个原因是由于数据的限制使这些案例不适用于深度学习。

f514df500d71fb4861be01d2937106d0.png  

Greenfield AI解决方案广泛应用于客户服务管理等业务领域,而且在某些行业中,这些行业的数据非常丰富且数量庞大,有时会整合人的反应。在各行业中,尤其是在医疗保健领域,发现了许多还未开发的用例。其中一些案例涉及疾病诊断和改善的护理,并依赖包含图像和视频输入的丰富数据集。

   研究表明,根据行业的不同,深度学习技术有可能提供超越传统分析技术的附加值的范围从30%到128%不等。在许多案例中,传统分析和机器学习技术仍继续在保险、医药和医疗产品以及电信等行业中创造着很大的价值创造潜力。而在某些情况下,人工智能的潜力受到了限制,原因是这些行业使用数据的方式以及法规的约束。

  二、深度学习的数据需求比其他分析要大得多

   在大多数应用中,有效利用神经网络需要大量标注标签的训练数据集以及对足够的计算基础架构的访问。此外,这些深度学习技术在从复杂的多维数据类型(例如图像,视频,音频或语音)中提取模式方面特别强大。

   深度学习方法需要数以千计的数据记录才能使模型变得相对擅长分类任务,在某些情况下,数百万条记录才能训练到人类判断的水平。根据估计,一种监督型深度学习算法通常将获得可接受的性能,每个类别大约有5,000个带标签的示例,并且在使用包含至少一千万个带标签的示例的数据集进行训练时,将达到或超过人类水平的性能。在当前使用高级分析的某些情况下,可用数据太多(每个数据集成百万甚至数十亿行),因此AI使用是最合适的技术。但是,如果未达到数据量的阈值,则AI可能不会为传统分析技术增加价值。

   对于许多业务用例而言,可能难以获取或创建这些海量数据集,并且标记仍然是一个挑战。当前大多数AI模型都是通过“监督学习”来训练的,这需要人类对基础数据进行标记和分类。然而,克服这些数据瓶颈的新技术正在涌现,例如强化学习,生成对抗网络,转移学习和“一次性学习”,这使受过训练的AI模型可以基于少量真实数据来学习主题。-世界上的示范或范例,有时只是一个。

   组织将必须采用和实施使他们能够大规模收集和集成数据的策略。即使是大型数据集,他们也必须防范“过度拟合”,即模型过于严格地与训练集的“噪音”或随机特征匹配,从而导致未来性能缺乏准确性,并防范“过度拟合”模型无法捕获所有相关功能的地方。例如跨客户群和渠道链接数据,而不是让数据陷入孤岛,对于创造价值尤为重要。

   三、发挥AI的全部潜能需要多种数据类型,包括图像、视频和音频

   神经网络技术由于其复杂,多维的特性而擅长分析图像、视频和音频数据类型。神经网络擅长处理高维,因为网络中的多层可以学习表示数据中存在的许多不同特征。因此,对于面部识别,网络中的第一层可以专注于原始像素,第二层可以专注于边缘和线条,另一层可以专注于普通面部特征,最后一层可以识别面部。与通常需要人类专业知识来进行“特征工程”的前几代AI不同,这些神经网络技术通常能够学会在训练过程中通过模拟的神经网络来表示这些特征。

   除了围绕数据量和数据多样性的问题外,速度也是一个要求:人工智能技术要求对模型进行重新训练以匹配潜在的变化条件,因此必须经常刷新训练数据。在三分之一的情况下,需要至少每月刷新一次模型,几乎四分之一的情况需要每天刷新一次;在市场营销和销售以及供应链管理和制造中尤其如此。

AI的价值评估

   通过研究,使用AI带来的最大潜在价值影响既是面向顶层的业务(如市场营销和销售),又适用于底层的业务,包括供应链管理和生产制造

   零售和高科技等消费行业将倾向于从市场营销和销售AI应用中发挥更多潜力,因为企业和客户之间频繁的数字互动会生成更大的数据集供AI技术使用。尤其是电子商务平台将受益匪浅。这是因为这些平台很容易收集客户信息,例如点击数据或在网页上花费的时间,然后可以动态,实时地为每个客户定制促销,价格和产品。

2e0c662c7f89ac60d630ae668f092dab.png

   以下是AI影响较大的三个行业:

   ■在零售业中,市场营销和销售是AI具有最大潜在价值的领域,在该行业中,定价和促销以及客户服务管理是主要的价值领域。研究表明,使用客户数据来个性化促销(例如,每天定制单个商品)可以使零售商的销售增加1-2%。

   ■在消费品行业中,供应链管理是可以从AI应用中受益的关键领域。研究表明,基于需求的潜在因果驱动因素而不是先前结果的预测将预测准确性提高10%到20%,这意味着库存成本可能降低5%,而收入增加2%到5%。

   ■在银行业,尤其是零售银行业中,人工智能与零售业一样,在市场营销和销售中具有巨大的潜在价值。但是,由于评估和管理银行业风险的重要性(例如,对于贷款承销和欺诈检测而言),与许多其他行业相比,人工智能在提高银行业风险绩效方面具有更高的价值潜力

AI的价值之路

   人工智能正在吸引越来越多的公司投资,并且随着技术的发展,可以释放的潜在价值可能会增长。但是,到目前为止,目前只有约20%的AI感知公司在核心业务流程中或大规模使用其一种或多种技术。

   尽管实现了AI的很多价值,但AI技术具有许多需要克服的局限性。它们包括上面列出的繁重的数据要求,还包括其他五个限制:

   ■首先是标注训练数据的挑战,这通常必须手动完成,并且对于有监督的学习是必需的。有望解决这一挑战的新兴技术正在涌现,例如强化学习和流内监管,其中可以在自然使用过程中对数据进行标记。

   ■其次是难以获得足够大且全面的数据集以用于训练;对于许多业务用例而言,创建或获取如此庞大的数据集可能很困难,例如,有限的临床试验数据无法更准确地预测医疗保健结果。

   ■第三是难以利用人类解释的大型复杂模型的结果:为什么要做出某个决定?例如,医疗保健以及汽车和航空航天行业的产品认证可能会成为障碍;除其他限制外,监管机构通常希望规则和选择标准易于解释。

   ■第四是学习的普遍性:人工智能模型在将其经验从一种情况转移到另一种情况方面仍然遇到困难。这意味着公司必须投入资源来训练新模型,即使是与以前的用例相似的用例也是如此。转移学习(对AI模型进行训练以完成特定任务,然后迅速将其应用到相似但截然不同的活动中)是对这一挑战的一种有希望的解决方案。

   ■第五个限制是数据和算法中存在偏差的风险。该问题涉及本质上更社会化的问题,可能需要更广泛的步骤来解决,例如了解用于收集训练数据的过程如何影响他们用于训练的模型的行为。例如,当训练数据不能代表应用AI模型的较大人群时,可能会引入意想不到的偏差。因此,在应用于具有更多不同特征的人群时,在与AI开发人员的人口统计相对应的面部人口上训练的面部识别模型可能会遇到困难。关于AI恶意使用的最新报告重点介绍了一系列安全威胁,从复杂的自动黑客攻击到超个性化的政治虚假宣传活动。

   一、技术、流程和人员的挑战可能会减慢AI的采用

   计划采取深度学习的组织将需要考虑各种选择方法。选项范围包括构建完整的内部AI功能,将这些功能外包或利用AI即服务产品。

   根据他们计划构建的用例,公司将需要创建一个产生结果和预测的数据计划,可以将其输入到设计的界面中,以供人们在应用系统上使用或操作。数据工程面临的主要挑战包括数据创建或获取,定义数据实体以及构建适当的数据“管道”。考虑到深度学习对计算的巨大需求,由于法规或安全方面的考虑,一些组织维护自己的数据中心,但资本支出可能相当可观,尤其是在使用专用硬件时。

   除非组织数字化成熟,否则流程也可能成为成功采用的障碍。在技术方面,组织将必须开发健壮的数据维护和治理流程,并实施诸如Agile和DevOps之类的现代软件学科。就规模而言,更具挑战性的是要克服“最后一英里”的问题,即确保在人员的行为和企业流程中实例化AI提供的卓越见解。

   在人员方面,深度神经网络的许多构建和优化仍然是一门技术,需要真正的专家来提供逐步演进的性能提升。目前,对这些技能的需求远远超过了供应;根据估计,只有不到10,000人具备解决严重AI问题所需的技能,且科技巨头之间对他们的竞争非常激烈。

   二、人工智能的商业应用的不确定性

   只要有可用的AI技术和数据并且其价值得到了明确证明,组织就可以抓住机会。在某些领域,当今的技术可能已经成熟并且可以使用数据,但是考虑到可以产生的价值,部署AI的成本和复杂性可能根本不值得。例如,一家航空公司可以使用面部识别和其他生物识别扫描技术来简化飞机的登机手续,但是这样做的价值可能并不能证明围绕隐私和个人识别的成本和问题是合理的。

   数据和技术日趋成熟,但价值尚不明确。最不可预测的情况是数据(类型和数量)或技术太新且未经测试,无法知道它们可以释放多少价值。例如,在医疗保健中,如果AI能够建立在超人的精确度之上,那么我们已经开始使用X射线分析进行观察,并将其扩展到更准确的诊断甚至自动化的医疗程序中,其经济价值就非常重要。同时,到达这一边界的复杂性和成本也令人生畏。除其他问题外,这将要求完美的技术执行以及解决医疗事故保险和其他法律问题的问题。

   社会关注和法规也可能限制AI的使用。在与个人可识别信息有关的应用中,法规约束尤其普遍。在公众对某些在线平台上的个人数据的使用和商业化争论日益激烈之际,这一点尤其重要。个人信息的使用和存储在银行、医疗保健、医药和医疗产品等部门以及公共和社会部门特别敏感。除了解决这些问题,AI的业务和其他数据用户还需要继续发展与数据使用相关的业务模型,以解决社会的关注。此外,各国的监管要求和限制可能会有所不同。

   三、对利益相关者的影响

   创造价值的是公司根据AI模型执行的能力,而不是模型本身。

   ■对于AI技术提供商:许多开发或向他人提供AI的公司在技术本身和使科学家发挥作用所需的数据科学家方面具有相当大的实力,但他们可能对业务缺乏深刻的理解。了解跨部门和职能的AI的价值潜力可以帮助开发AI技术公司的产品。就是说,他们不一定只应该优先考虑具有最高潜在价值的区域。相反,他们可以将这些数据与竞争对手的互补分析、现有优势、行业或职能知识以及客户关系相结合,以形成在技术方面的投资策略

   ■许多寻求在其业务中采用AI的公司已经在其整个业务中开始了机器学习和AI实验。在启动更多试点或测试之前,采取整体解决方案,以在整个企业中创建优先级计划组合非常必要,包括AI以及可用的更广泛的分析和数字技术。对于业务领导者来说,创建合适的产品组合非常重要,要了解哪些应用和领域有潜力为公司带来最大价值,以及需要使用哪些AI和其他分析技术。不仅应从可以获取理论值的地方来进行投资组合,但是问题在于如何在整个企业范围内大规模部署这些技术。分析技术如何扩展的问题较少地由技术本身驱动,而更多地由公司的技能、能力和数据驱动。公司将需要考虑在“第一英里”上的努力,即如何获取组织的数据,以及在“最后一英里”上,或者如何将AI模型的输出整合到工作流程中审批经理和销售经理到采购经理。MGI的研究表明,AI领导者在这些第一英里和最后一英里的努力中投入了大量资金

   ■决策者将需要在支持AI技术的开发与管理不良行为者的风险之间取得平衡。他们有意愿支持广泛采用,因为人工智能可以提高劳动生产率、经济增长和社会繁荣。在数据问题上,政府可以通过开放数据计划直接刺激培训数据的开发。开放公共部门数据可以刺激创新。设置通用数据标准也有帮助。人工智能还为决策者提出了新的问题,以应对历史系统和框架可能不足的问题。所以,为了应对这些快速发展的技术,可能需要一些创新。但是,鉴于对经济和社会业务的有益影响的规模很大,不应限制AI的采用和应用,而应鼓励AI的安全使用

相关文章
|
1月前
|
机器学习/深度学习 存储 缓存
【动手学深度学习】深入浅出深度学习之RMSProp算法的设计与实现
【动手学深度学习】深入浅出深度学习之RMSProp算法的设计与实现
66 32
|
1月前
|
机器学习/深度学习 存储 PyTorch
【动手学深度学习】深入浅出深度学习之PyTorch基础
【动手学深度学习】深入浅出深度学习之PyTorch基础
40 3
|
4月前
|
机器学习/深度学习 搜索推荐 算法
深度学习推荐系统架构、Sparrow RecSys项目及深度学习基础知识
深度学习推荐系统架构、Sparrow RecSys项目及深度学习基础知识
|
7月前
|
机器学习/深度学习 自然语言处理 算法
深度学习基础知识:介绍深度学习的发展历程、基本概念和主要应用
深度学习基础知识:介绍深度学习的发展历程、基本概念和主要应用
2254 0
|
9月前
|
机器学习/深度学习 并行计算 PyTorch
深度学习实践篇 第九章:DDP
简要介绍了DDP的使用。
198 0
|
9月前
|
机器学习/深度学习 PyTorch 算法框架/工具
深度学习实践篇 第八章:torchscript
简要介绍torchscript的使用方法。
100 0
|
9月前
|
机器学习/深度学习 算法 数据挖掘
深度学习实践篇 第十一章:imgaug
简要介绍imgaug和基础用法。
|
10月前
|
机器学习/深度学习 人工智能 算法
2023了,学习深度学习框架哪个比较好?
都2023年,才来回答这个问题,自然毫无悬念地选择PyTorch,TensorFlow在大模型这一波浪潮中没有起死回生,有点惋惜,现在GLM、GPT、LLaMA等各种大模型都是基于PyTorch框架构建。这个事情已经水落石出。不过呢,我觉得可以一起去回顾下,在AI框架发展的过程中,都沉陷了哪些技术点,为什么一开始这么多人在纠结到底用哪个框架。
148 0
|
12月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习深入浅出
深度学习是机器学习的一个分支,其核心思想是利用深层神经网络对数据进行建模和学习,从而实现识别、分类、预测等任务。在过去几年中,深度学习技术取得了许多突破性的成果,如在图像识别、语音识别、自然语言处理、游戏AI等领域中。 本文将简要介绍深度学习的基本原理,并使用Python中的TensorFlow库演示如何实现一个简单的神经网络模型。
112 0
|
机器学习/深度学习 人工智能 算法
澄明:简述深度学习与GeoAI
人工智能不是人的智能,但能像人那样思考,也可能超过人的智能。
324 0