大数据与人工智能应用的7个常见误区

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 随着越来越多的组织采用大数据技术处理大量、快速、多变的信息资产,通常很快就会面临如何从中有效地获得洞察力和商业价值的问题,这就涉及到了大数据和人工智能。大数据和人工智能之间存在着紧密的关系,大数据是燃料,人工智能是手段。

随着越来越多的组织采用大数据技术处理大量、快速、多变的信息资产,通常很快就会面临如何从中有效地获得洞察力和商业价值的问题。


Talend公司产品高级总监Jean-Michel Franco为此表示,“大数据技术自然可以带来高级分析措施。但当组织可以捕获有关可以改进业务主题的大量信息时,不要只是了解事物表面,还想发现事物本质,找出根本原因,预测将要发生的事情,并准确地解决问题。而人类在没有机器帮助的情况下独自完成是很难做到的。”而人工智能技术已经成为一种理解所有信息的方式,并且实际上成为一种需要大量数据才能实施的学科。


因此,大数据和人工智能技术总是结合在一起是很自然的。商业转型和外包咨询服务商PaceHarmon公司总监JP Baritugo说:“大数据和人工智能之间存在着紧密的关系。大数据是燃料,人工智能是手段。”


但是在这一过程中,人们对人工智能和大数据如何协同工作产生了一些误解,导致潜在的混乱,IT领导者应在采用数据驱动型策略时进行澄清:


1.某些类型的人工智能可能不需要大数据


例如,一些聊天机器人学习的输入数据集可能比人工智能技术还要少。


Baritugo说,“‘垃圾输入,垃圾输出’的数据分析理念是适用的,因为组织需要足够的良好数据来从其人工智能工作中驱动具有意义的价值。但需要多少数据可能会有所不同。”


Everest集团执行副总裁兼资深分析师Sarah Burnett为此解释说:“大数据意味着由结构化和非结构化数据组成的大数据集,可以为人工智能的一些应用提供数据,例如需要大量数据来训练人工智能、分析信息以发现模式,并用概率来提出问题的答案时,并非所有人工智能都需要大量数据。”


Baritugo 说,“通过设计,人工智能通常需要大型的规范化数据集(即大数据的“清理”子集)来有意义地识别模式并生成必要的输出,其所需的数据量(包括培训和评估数据集)主要由问题的复杂性、需要评估的输入功能的数量以及所使用的算法决定。”


例如,机器学习(ML)通常需要比深度学习(机器学习的另一个子集)更少的数据来进行训练。


2.并非所有大数据都需要人工智能的应用


人工智能可能有助于推动数据分析,但不一定需要从大数据中提取价值。ISG公司认知自动化和创新总监Wayne Butterfield说,“高级分析已成为大多数组织多年来利用的概念。这实际上取决于数据集的大小和需要分析的不同数据集的数量。就算专家拥有最聪明的头脑,也不可能在有限的时间内在一些大型数据集中找到具有洞察力的模式,因此机器学习在完成繁重工作方面具有一定优势,但是并非所有数据集都是庞大而多样的,因此不一定总是需要采用机器学习(ML)才能从中获得洞察力。”


IT组织还可以使用商业智能、分析和数据仓库解决方案来分析数据并可视化见解。


3.高级分析和人工智能并不一样


很多时候,人们使用“大数据”一词来更广泛地描述这些信息资产的高级分析,这并没有什么问题。但是他们可能认为高级分析和人工智能也是可以互换的术语,这种想法是不对的。


Burnett说:“人工智能和高级分析紧密联系在一起,但存在一些关键区别。例如,人工智能可以尝试各种假设、自我学习并增强其分析。尽管人工智能技术可以分析数据,却无法自我学习,只能依靠人类来设置其参数。”


4.大数据可能会扭曲人工智能模型


Franco说,“大数据为人工智能和机器学习奠定了基础。获得的数据越多,模型就越好。但是当数据不受控制时,也会给人工智能和机器学习带来偏差。”


过分关注数据的数量而不是质量往往是罪魁祸首。Franco说:“当人们无法控制基础数据时,人工智能和机器学习不可避免地会遭遇失败。将大量数据收集到数据湖中并不能为人工智能和机器学习的成功奠定足够的基础。”


5.组织可能已经将人工智能和大数据结合在一起但却不知情


Burnett谈到智能文档处理(IDP)软件时说:“有些软件解决方案已经内置了人工智能功能,可以随时安装、训练和使用。这些解决方案加速了人工智能的采用,并帮助组织处理特定的业务需求。在这些情况下,不一定需要了解人工智能技术才能获得收益。”


6. 人类证明了将大数据和人工智能结合起来的必要性


当涉及大数据和人工智能时,信任和透明度是关键。Franco说,“组织需要扎实的数据基础,才能使用人工智能获得正确的见解。而且,组织员工需要参与到数据治理的过程,以控制数据(数据质量、代表性、数据隐私)和算法(使用可解释的人工智能能够理解算法的内容)。”


7.并非所有数据都对人工智能有用


Butterfield说:“与人工智能结合使用时,通常在拥有大量数据和拥有正确数据以提供见解之间有着很好的平衡。人工智能并不是解决所有问题的灵丹妙药,至少到目前为止是这样。企业领导者需要意识到这一点。”

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
22天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
18天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
158 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
4天前
|
人工智能 自然语言处理 搜索推荐
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
63 23
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
|
25天前
|
机器学习/深度学习 人工智能 分布式计算
我的阿里云社区年度总结报告:Python、人工智能与大数据领域的探索之旅
我的阿里云社区年度总结报告:Python、人工智能与大数据领域的探索之旅
103 35
|
12天前
|
人工智能 自然语言处理 JavaScript
微软开源课程!21节课程教你开发生成式 AI 应用所需了解的一切
微软推出的生成式 AI 入门课程,涵盖 21 节课程,帮助开发者快速掌握生成式 AI 应用开发,支持 Python 和 TypeScript 代码示例。
187 14
|
10天前
|
人工智能 开发者 Python
Chainlit:一个开源的异步Python框架,快速构建生产级对话式 AI 应用
Chainlit 是一个开源的异步 Python 框架,帮助开发者在几分钟内构建可扩展的对话式 AI 或代理应用,支持多种工具和服务集成。
82 9
|
26天前
|
人工智能 运维 负载均衡
智能运维新时代:AI在云资源管理中的应用与实践
智能运维新时代:AI在云资源管理中的应用与实践
146 23
|
19天前
|
机器学习/深度学习 数据采集 人工智能
人工智能在变更管理中的应用:变革的智能化之路
人工智能在变更管理中的应用:变革的智能化之路
41 13
|
16天前
|
机器学习/深度学习 存储 人工智能
AI实践:智能工单系统的技术逻辑与应用
智能工单系统是企业服务管理的核心工具,通过多渠道接入、自然语言处理等技术,实现工单自动生成、分类和分配。它优化了客户服务流程,提高了效率与透明度,减少了运营成本,提升了客户满意度。系统还依托知识库和机器学习,持续改进处理策略,助力企业在竞争中脱颖而出。
51 5
|
22天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能在客服领域有哪些应用?
人工智能正在彻底改变着传统客服行业,它不仅拓展了业务边界,还推动着整个行业向更高效、更人性化方向迈进。
56 7