AI现状 人才短缺成为障碍

简介: 最新的调查告诉我们在企业领域 AI 应用到了怎样的程度(已经从原型向生产阶段过渡),调查还涉及具体技术和工具的流行程度,应用者面临怎样的挑战,以及其它一些问题。

--------点击屏幕右侧或者屏幕底部“+订阅”,关注我,随时分享机器智能最新行业动态及技术干货----------

去年,我们感觉到大家对AI的兴趣已经接近狂热,所以我们就AI应用发起调查。调查完成之后我们分析结果,认为AI行业处在快速变化的阶段,所以我们又发起一次调查,想搞清眼下AI主要应用于哪些行业。

调查花了几周时间,收到 1388 份回应报告。最新的调查告诉我们在企业领域 AI 应用到了怎样的程度(已经从原型向生产阶段过渡),调查还涉及具体技术和工具的流行程度,应用者面临怎样的挑战,以及其它一些问题。

下面让我们总结一下:
关键调查结果:

——约有 85% 的受访机构声称它们正在评估 AI,或者将 AI 应用于生产。只有 15% 的机构在 AI 方面没有采取任何行动。

——超过一半的受访机构是“AI 技术成熟的应用者”,换言之,它们正在用 AI 完成分析、生产任务。

——在成熟 AI 应用者中,监督式学习是最流行的机器学习技术,在那些仍在评估AI的机构中,机器学习是最流行的技术。

——在 AI 应用时,缺少机器学习和 AI 技能并不是最大障碍。22% 的受访者认为,缺少制度支持是最大问题。

——只有很少的企业用正式治理控制手段为自己的 AI 活动提供支持。

AI 仍然在发展。有许多企业正在评估 AI,用 AI 做实验,不过在应用时,主要用于“生产部署”(production deployments)。这种发展仍然处在初期阶段,企业还要做很多工作才能让 AI 变得更坚固。不论怎样,应用者为了打造稳定的 AI 生产线,还有一大堆工作要做。

image.png

受访者分布

受访者代表所在机构和企业接受调查,他们来自 25 个行业,来自软件行业的受访者占 17%。从受访样本看,“科技行业”所占的比重并不是很高,“计算机、电子、硬件”也属于科技行业的重要板块,它只占了样本的7%还不到。至于“其它”类别,它包括 12 个行业,占受访者的22%。

image.png

数据科学家占主导,企业高管具有代表性

大约六分之一的受访者是数据科学家,高管(比如主管、副总裁、CxO)占了样本的 26%。从调查看,受访者的确严重偏向数据,有 30% 的受访者是数据科学家、数据工程师、AIOps 工程师,或者是管理他们的人。大约四分之三的受访者宣称自己从事的工作与数据有关。在所有受访者中,超过 70% 从事科技类工作。

地区分布

约有 50% 的受访者来自北美,其中大多来自美国,美国受访者占了 40%。然后是西欧受访者,占了 23%,亚洲占 15%。南美、东欧、大洋洲、非洲占 15%。

image.png

分析:今天的 AI 应用现状

在受访者代表的机构中,超过一半在 AI 应用方面已经进入“成熟”阶段,也就是用 AI 分析、生产,还有大约三分之一正在评估。再看去年的 AI 调查结果,54% 的受访机构声称在评估 AI,只有 27% 进入“成熟”阶段。在 2020 年的调查中,只有 15% 的受访机构没有设立任何 AI 项目。

约有 85% 的机构正在使用 AI,当中大多用于生产,这是一个值得关注的亮点。似乎 2019 年制定的实验性 AI 项目今年开始开花结果。

AI 主要用在哪里呢?约有一半受访者说他们用在研发领域,排名第二的是IT,有三分之一的受访者选择(请注意,这里可以多选)。

在选项中有两个属于企业的“功能部门”,也就是“营销/广告/PR”和“运营/设施/车队管理”,每个都有大约 20% 的受访者选择。由此可以看出,受访机构看到了 AI 在功能部门的价值。

image.png

采用 AI 面临的挑战

在大多机构内,获得并保留 AI 特殊技能仍然是 AI 应用的一大障碍。今年,约有超过六分之一的受访者声称招募并留下 AI 人才是 AI 应用的一大障碍。2019 年,大约只有 18% 的受访者这样认为。

image.png

但是缺少高技能人才并不是最大障碍。2020 年,大约 22% 的受访者认为缺少机构支持才是最大问题,2019 年也有很多人这样认为。2019 年和 2020 年,在 AI 应用的各大障碍中,“缺少高技能人才、很难招到必要人才”排在第三位;“难以确认合适的商务用例”排在第二位,约有 20% 的受访者选择。

image.png

AI/ML 技能短缺

我们还问调查者:在他们的机构中,哪些机器学习(ML)和 AI 技能最欠缺。58% 的受访者认为最欠缺 ML 模型师、数据科学家,选择的人最多。理解及维护一系列商务用例排在第二位,约有一半人选择。还有 40% 的受访者选择“在数据工程领域缺少必要技能”。最后,还有约四分之一的人选择“机构缺少计算基础设施技能”。

这项调查有一个地方很有趣:2020 年的结果和 2019 年惊人相似。2019 年的问题到了 2020 年仍然是问题,比例也基本一样。2019 年,57% 的受访者选择“缺少机器学习建模和数据科学专家”,今年的比例是 58%。这些技能都是机构必需的,而且不太容易解决。例如,数据科学家是“混合物种”,不但要掌握精深的理论、技术知识,还要具备面向特定领域的实际商业知识。

可惜,很多数据科学家缺少实践,所以机构只能在工作中对新晋数据科学家培训。正因如此,才会有那么多受访者认为:严重缺少理解和维护特定商务用例的人才是一大问题,2019 年有 47% 的受访者选择,今年上升到 49%。数据科学家利用自己掌握的特定专业知识为AI 找到适合的商务用例。机器学习建模师在实践中积累知识,然后用这些特定商业知识补充技术知识。这两种类型的从业者都需要提升软技能,在团队工作、倾听、移情过程中提升。提升需要时间,也是经验的结果。

image.png

管理 AI/ML 风险

我们还问了受访者这样一个问题:当你们搭建部署 ML模型时有哪些风险需要控制(多选)?调查结果显示,所有机构(尤其是 AI 项目处于“成熟”阶段的机构)全都认为应该警惕设计使用 ML/AI 技术的内在风险。

在“成熟”机构中,大约有三分之二的人选择“意料之外的结果/预测”,这是最大的单一风险因素。在“成熟”机构中,排名第二的单一风险因素是“对 ML 模型的可解释性和透明度进行控制”,约有 55% 的人选择;至于“正在评估”的机构,公平、偏见和道德风险排在第二位,有 40% 的人选择。在“成熟”机构眼中,公平、偏见和道德风险排在第三位,有 48% 的受访者选择。与正在评估的企业相比,“成熟”机构更愿意对模型退化进行检查,所以在“成熟”机构中,AI 模型退化是是第四大风险因素(约 46% 的人选择)。

在调查时给出的选项有 9 个,因为是多选,受访者可以全部选择。我们发现,41% 的受访者至少选择了 4个,61% 的受访者至少选择 3 个。

image.png

监督式学习成主导、深度学习持续升温

在所有 AI 应用者中,监督式学习技术仍然是最流行的 ML 技术。2019 年,超过 80% 的成熟应用者已经使用这种技术,当时约有三分之二的受访机构还处在评估阶段。到了 2020 年,约有 73% 的成熟 AI 活动已经使用监督式学习技术。

有一点需要注意,2020 年,对于那些处于评估阶段的机构来说,深度学习技术已经取代监督式学习技术成为最流行的技术。数据可以说明一切:对于正在评估 AI 的机构,有 55% 声称他们正在使用深度学习技术,有 54% 声称正在使用监督式学习技术(多选)。对于成熟的 AI 应用者,约有 66% 的受访者声称他们正在使用深度学习技术,排在第二位,排在第一的是监督式学习技术。

与正在评估的组织相比,在成熟接受者中,ML 或者 AI 技术的使用率更高。换言之,二者有着很大的区别。例如,在成熟接受者中,大约 23% 的 AI 活动用到了迁移学习(Transfer learning)技术,而评估者只有 12%。另外,在成熟者中机回圈(Human-in-the-Loop)AI 模型更加流行。

在工作中选择什么工具呢?78% 的受访者选择至少 2 种 ML 技术,59% 选择至少 3 种,39% 至少选择 4种。

image.png

主导性工具越来越重要

在 AI 工作中,TensorFlow 仍然是最流行的工具。2019 年和 2020 年,大约 55% 的受访者选择了它,比重保持不变。TensorFlow 地位稳固还告诉我们一个事实:深度学习、神经网络越来越流行。

2019 年最流行的 AI 开发工具到了 2020 年仍在流行。在最流行的 5 种 AI 工具中,有 4 种要么以Python 作为基础,要么以 Python 作为主导。TensorFlow、Scikit-learn 和 Keras 保持稳定,PyTorch 份额增长,达到 36%。

数据治理还不是当务之急

有超过五分之一的受访机构宣称,它们引入了正式数据治理流程和(或)工具,用来支持或者补充AI项目。

26% 的受访者回应称会在2021 年之前引入正式数据治理流程和(或)工具,35% 预计会在未来3年引进,这是好消息。也有坏消息,AI 接受者认为数据治理只是补充,并非基本要素。

数据溯源(Data provenance)、数据沿袭 ( data lineage ) 、一致性数据定义、丰富的元数据管理及其它良好的数据治理技术将会融入 AI 项目,并非叠加在 AI 项目之上。

我们可以将数据治理看成是软件开发过程中的“可观察性”(observability)部分:翻新已有系统让它具备可观察性是很难的,将可观察能力植入系统倒是容易一些。同样的,为系统或者服务建立数据治理能力容易一些,事后添加难一些。

要点汇总

回看调查报告我们总结一些要点,机构在推进AI项目时可以参考:

——如果没有制定计划对AI进行评估,那你是时候迎头赶上了。现在市场上有很多开源工具、库、教程及其它,还有平易近人的通用语言(比如Python),进入 AI 的门槛大大降低。大多企业都在用 AI 做实验,落后是有风险的。

——AI 项目与软件架构、基础设施、运营的主导趋势保持一致。

——你可以从更宏观的角度考虑:到处都在使用 AI,不限于研发和 IT。在调查中,许多受访者声称他们在客户服务、营销、运营、财务及其它领域使用 AI。

——要对组织进行培育,不能只是训练模型。在 AI 应用过程中,制度支持仍然是最大的障碍。如果你觉得 AI 能带来助益,那就应该花点时间解释关键问题,比如如何保持期待、为什么可以期待、有何期待。

——在 AI 执行过程中会有风险存在,现在我们对风险有了更好的理解。当我们向高管、利益相关方解释,告诉他们执行 AI 项目时有何期待,解释起来会更容易一些。

总结

很明显,AI 正在变得成熟起来,虽然许多用例看起来很原始,但它仍然一天一天变得成熟。应用者正在采取积极措施控制常见风险。不论是成熟还是不成熟的应用者,它们都在用复杂技术做实验,开发自己的 AI 产品和服务。应用者使用多种 ML 和 AI 工具,但使用的语言基本只有一种,也就是广泛流行的 Python。如果想扩大 AI 实践规模,企业还有几件事要做:解决数据治理和数据调理问题。

image.png

原文链接:https://yqh.aliyun.com/detail/14278

目录
相关文章
|
1天前
|
机器学习/深度学习 人工智能 开发框架
【AI系统】AI 学习方法与算法现状
在人工智能的历史长河中,我们见证了从规则驱动系统到现代机器学习模型的转变。AI的学习方法基于深度神经网络,通过前向传播、反向传播和梯度更新不断优化权重,实现从训练到推理的过程。当前,AI算法如CNN、RNN、GNN和GAN等在各自领域取得突破,推动技术进步的同时也带来了更大的挑战,要求算法工程师与系统设计师紧密合作,共同拓展AI技术的边界。
18 1
|
1天前
|
机器学习/深度学习 人工智能 算法
【AI系统】AI的历史、现状与理论基础
人工智能(AI)作为一门跨学科的研究领域,其目标是模拟、延伸和扩展人的智能。本文旨在概述AI的历史发展、当前趋势以及理论基础,为读者提供一个系统的视角。
16 0
|
2月前
|
人工智能 API UED
🔍语言无界,沟通无阻:AI翻译技术,让职场国际交流零障碍!
【8月更文挑战第1天】全球化驱动跨国合作,但语言障碍影响交流效率。AI翻译技术突破此限制,实现实时多语种翻译,如会议中即时将发言转为所需语言,确保无障碍沟通。此外,AI能根据上下文精准翻译,避免误解。通过持续学习,AI翻译质量不断提升。这项技术打破语言壁垒,促进文化融合,未来将进一步优化职场国际交流,推动全球化进程。
44 0
|
4月前
|
人工智能 安全 网络安全
简述AI漏洞修复研究现状及发展方向
鲁军磊先生的演讲聚焦AI在网络安全中的应用,特别是自动化漏洞修复。他讨论了大模型技术的最新进展,AI如何增强漏洞发现与修复,并介绍了AI智能体的三种协作模式。传统漏洞修复流程从手工审计到智能化挖掘逐步演进,而AI技术通过智能决策和自动化执行提高效率。未来趋势包括智能化防御、跨域协同、安全合规自动化、隐私保护强化和安全技能普及,以及可持续安全生态建设。AI正重塑网络安全领域,推动更高效、精准的防御策略。
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
AIGC (AI-Generated Content) 技术深度探索:现状、挑战与未来愿景
AIGC (AI-Generated Content) 技术深度探索:现状、挑战与未来愿景
290 0
|
5月前
|
人工智能 数据库 芯片
【报告介绍】中国AI大模型产业:发展现状与未来展望
【4月更文挑战第27天】中国AI大模型产业快速发展,受益于政策支持、技术创新及市场需求,已在电商等领域广泛应用,展现巨大潜力。但面临算力瓶颈、技术局限和数据不足等挑战。未来,AI大模型将向通用化与专用化发展,开源趋势将促进小型开发者参与,高性能芯片升级也将助力产业进步。[报告下载链接](http://download.people.com.cn/jiankang/nineteen17114578641.pdf)
376 2
|
5月前
|
数据采集 人工智能 机器人
AI日报:欧盟人工智能法案通过后行业面临合规障碍
AI日报:欧盟人工智能法案通过后行业面临合规障碍
AI日报:欧盟人工智能法案通过后行业面临合规障碍
|
人工智能 安全 算法
AI智能电话机器人的现状
人工智能的优势在于: 1、能精确的工作:可以避免错误,专注于工作; 2、提高生产力:基于语音的移动应用程序提供简化操作,可提高运营效率; 3、安全性改进:语音技术可以快速安全的解释和遵循。
|
5月前
|
SQL 人工智能 安全
AI 与 Web3 数据行业融合的现状、竞争格局与未来机遇探析(下)Footprint Analytics x Future3 x HashKey Capital 万字研报
GPT的横空出世将全球的目光吸引至大语言模型,各行各业都尝试着利用这个“黑科技”提高工作效率,加速行业发展。
|
5月前
|
人工智能 自然语言处理 数据挖掘
AI 与 Web3 数据行业融合的现状、竞争格局与未来机遇探析(上)Footprint Analytics x Future3 万字研报
在本文中,我们将重点探索如何利用 AI 的技术,去提升 Web3 数据的生产效率以及使用体验
AI 与 Web3 数据行业融合的现状、竞争格局与未来机遇探析(上)Footprint Analytics x Future3 万字研报

热门文章

最新文章