AI透明度引发关注,科技巨头推工具解释算法决策过程

简介:

人工智能技术的透明度和道德伦理问题,正引发越来越多的关注,这促使云计算服务提供商推出新工具,解释人工智能算法背后的决策过程。

会计和金融等强监管行业的高管表示,数据科学家和非技术业务经理都必须能理解算法决策背后的流程,这至关重要。这样的理解在防范潜在道德违规和监管违规方面可能会带来深远影响,尤其考虑到企业级人工智能算法正变得越来越普遍。

毕马威创新和企业解决方案部门负责智能自动化、认知和人工智能的高管维诺德·斯瓦米纳桑(Vinodh Swaminathan)表示:“我认为,除非具备这种解释能力,否则人工智能在企业中的规模不可能超过数百个试点应用。”

对人工智能的解释问题已经促使IBM和谷歌等公司在云计算人工智能服务产品中引入透明度和道德伦理工具。比如,IBM商业价值研究所近期的一项研究调查了5000名企业高管。约60%的受访者表示,他们关心如何解释人工智能使用数据作出决策,以达到监管和合规标准。这个比例较2016年时的29%大幅上升。

甚至对数据科学家和相关企业高管来说,人工智能的决策过程有时都是“黑盒”。在深度学习工具,例如用于模式识别的神经网络中尤其如此。这样的神经网络试图模拟人脑的运转方式。尽管这些系统可以以前所未有的准确率和速度得出结论,但外界并不总是非常清楚,计算网络是如何做出具体的决策。

毕马威内部的数据科学家正在开发自主的可解释性工具,此外该公司也在利用IBM新的透明度工具。斯瓦米纳桑表示,这样做的目的是确保技术和业务两方面的员工都能“打开黑盒”,准确地了解人工智能算法是如何做出结论的。

IBM上周发布了新的云计算人工智能工具,可以向用户展示哪些主要因素影响了人工智能做出的建议。这些工具还可以实时分析人工智能决策,以识别固有偏见,并推荐数据和方法来解决这些偏见。IBM负责认知解决方案的高级副总裁大卫·肯尼(David Kenny)表示,这些工具可以与IBM人工智能服务,以及谷歌等其他云计算服务提供商的工具配合使用。

谷歌研究科学家和软件工程师发布的博文则显示,谷歌去年开始为开源的机器学习代码发布新工具,“作为更广泛研究的一部分,满足对可解释性的政策目标”。谷歌本月早些时候发布的另一款人工智能工具允许非程序员检查和调试机器学习系统,以评估算法的公平性。

微软正通过Azure来提供人工智能服务。该公司发言人表示,人工智能系统的设计需要有公平、透明和安全的保护,从而确保信任。微软正在这方面做出持续的努力。亚马逊没有对此问题做出回应。

来自强监管金融行业的Capital One Financial Corp和美国银行正在研究,如何解释人工智能算法得出答案的背后原理。两家公司都表示,目标是利用人工智能来优化对欺诈的监测,但首先它们需要了解这些算法是如何工作的。


原文发布时间为:2018-09-27

本文来自云栖社区合作伙伴“人工智能观察”,了解相关信息可以关注“人工智能观察”。

相关文章
|
4月前
|
人工智能 vr&ar UED
获奖公布|第十九届"挑战杯"竞赛2025年度中国青年科技创新"揭榜挂帅"擂台赛阿里云“AI技术助力乡村振兴”专题赛拟授奖名单公示
获奖公布|第十九届"挑战杯"竞赛2025年度中国青年科技创新"揭榜挂帅"擂台赛阿里云“AI技术助力乡村振兴”专题赛拟授奖名单公示
|
5月前
|
人工智能 供应链 数据可视化
一文读懂AI引擎与Together规则引擎重塑智能决策
从1950年图灵提出人工智能设想到如今AI引擎实现自主决策,Together规则引擎正成为智能决策核心。它通过动态规划、多工具调用与持续学习机制,赋能供应链、财务、定价等场景,提升决策透明度与效率。Together助力AI引擎突破落地瓶颈,推动企业管理迈向“决策即服务”新时代。
|
6月前
|
机器学习/深度学习 人工智能 算法
从人工决策到AI自主规划:2025物流配送管理工具的智能化升级
物流配送管理工具正经历技术革新,从手工调度1.0迈向数字孪生与AI驱动的4.0时代。新一代系统融合IoT、强化学习与路径优化算法,实现智能调度、实时执行与资源优化。多模态感知、自适应路由与弹性网络设计推动物流数字化转型。未来,量子计算、自主物流网络与认知型AI将重塑行业格局,助力物流向高效、绿色、韧性发展。
1004 0
|
7月前
|
人工智能 NoSQL Redis
企业级Agent系统中AI决策错误带来损失,如何通过HITL机制解决?
本文AI专家三桥君探讨了企业级Agent系统中Human-in-the-Loop(HITL)机制的关键作用,旨在解决AI在复杂业务场景中“聪明但错误”的决策问题。通过单机模式(LangGraph中断恢复)、工具调用管控(集中看守/自我管理)及分布式架构(FastAPI+Redis)三种方案,实现人类专家在关键节点的精准干预。三桥君还提出故障恢复策略与异步优化等企业级实践,强调HITL能有效降低AI决策风险,提升系统可靠性,为AI产品经理提供技术落地方向。
282 0
|
5月前
|
机器学习/深度学习 人工智能 资源调度
智能家居环境中的AI决策解释:实现以人为中心的可解释性——论文阅读
本文探讨智能家居中AI决策的可解释性,提出以人为中心的XAI框架。通过SHAP、DeepLIFT等技术提升模型透明度,结合用户认知与需求,构建三层解释体系,增强信任与交互效能。
392 19
智能家居环境中的AI决策解释:实现以人为中心的可解释性——论文阅读
|
4月前
|
存储 人工智能 前端开发
超越问答:深入理解并构建自主决策的AI智能体(Agent)
如果说RAG让LLM学会了“开卷考试”,那么AI智能体(Agent)则赋予了LLM“手和脚”,使其能够思考、规划并与真实世界互动。本文将深入剖析Agent的核心架构,讲解ReAct等关键工作机制,并带你一步步构建一个能够调用外部工具(API)的自定义Agent,开启LLM自主解决复杂任务的新篇章。
837 6
|
4月前
|
人工智能 监控 Java
Java与AI智能体:构建自主决策与工具调用的智能系统
随着AI智能体技术的快速发展,构建能够自主理解任务、制定计划并执行复杂操作的智能系统已成为新的技术前沿。本文深入探讨如何在Java生态中构建具备工具调用、记忆管理和自主决策能力的AI智能体系统。我们将完整展示从智能体架构设计、工具生态系统、记忆机制到多智能体协作的全流程,为Java开发者提供构建下一代自主智能系统的完整技术方案。
646 4
|
4月前
|
人工智能 算法 数据安全/隐私保护
拔俗AI多模态心理风险预警系统:用科技守护心理健康的第一道防线
AI多模态心理风险预警系统通过语音、文本、表情与行为数据,智能识别抑郁、焦虑等心理风险,实现早期干预。融合多源信息,提升准确率,广泛应用于校园、企业,助力心理健康服务从“被动响应”转向“主动预防”,为心灵筑起智能防线。(238字)
499 0
|
4月前
|
机器学习/深度学习 人工智能 监控
拔俗AI智能营运分析助手软件系统:企业决策的"数据军师",让经营从"拍脑袋"变"精准导航"
AI智能营运分析助手打破数据孤岛,实时整合ERP、CRM等系统数据,自动生成报表、智能预警与可视化决策建议,助力企业从“经验驱动”迈向“数据驱动”,提升决策效率,降低运营成本,精准把握市场先机。(238字)
168 0

热门文章

最新文章